Редактирование: МОТП, Контрольная 2013
Материал из eSyr's wiki.
Внимание: Вы не представились системе. Ваш IP-адрес будет записан в историю изменений этой страницы.
Правка может быть отменена. Пожалуйста, просмотрите сравнение версий, чтобы убедиться, что это именно те изменения, которые вас интересуют, и нажмите «Записать страницу», чтобы изменения вступили в силу.
Текущая версия | Ваш текст | ||
Строка 11: | Строка 11: | ||
По определению [http://machinelearning.ru/wiki/index.php?title=%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%BE%D0%B2%D1%81%D0%BA%D0%B8%D0%B9_%D0%BA%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%82%D0%BE%D1%80 баесовского классификатора]: | По определению [http://machinelearning.ru/wiki/index.php?title=%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%BE%D0%B2%D1%81%D0%BA%D0%B8%D0%B9_%D0%BA%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%82%D0%BE%D1%80 баесовского классификатора]: | ||
- | <math>a(x) = \mathrm{arg}\max_{y\in Y} P_y p_y(x),</math> | + | <math>a(x) = \mathrm{arg}\max_{y\in Y} \lambda_{y} P_y p_y(x),</math> |
- | где <math>x</math> - классифицируемый пример, <math>a(x)</math> - классификатор, <math>Y</math> - множество классов (<math>K_1, K_2</math>), <math>P_y</math> - вероятность появления объекта класса <math>y</math> (априорная вероятность), <math>p_y(x)</math> - плотность распределения класса <math>y</math> в точке <math>x</math>. | + | где <math>x</math> - классифицируемый пример, <math>a(x)</math> - классификатор, <math>Y</math> - множество классов (<math>K_1, K_2</math>), <math>\lambda_y</math> - цена ошибки (<math>\lambda_1 = \lambda_2</math>), <math>P_y</math> - вероятность появления объекта класса <math>y</math> (априорная вероятность), <math>p_y(x)</math> - плотность распределения класса <math>y</math> в точке <math>x</math>. |
- | Построим множество, на котором <math> P_1 p_1(x) \lessgtr P_2 p_2(x).</math> Для этого решим уравнение: | + | Построим множество, на котором <math> \lambda_{1} P_1 p_1(x) \lessgtr \lambda_{2} P_2 p_2(x).</math> Для этого решим уравнение: |
- | <math> 0.3 p(x|K_1) \lessgtr 0.7 p(x|K_2) </math> | + | <math> \lambda_{1} 0.3 p(x|K_1) \lessgtr \lambda_{2} 0.7 p(x|K_2) </math> |
<math> 0.3 \cdot 7.3 \cdot x e^{(-\frac{7.3}{2}x^2)} \lessgtr 0.7 \cdot 1.3 \cdot x e^{(-\frac{1.3}{2}x^2)} </math> | <math> 0.3 \cdot 7.3 \cdot x e^{(-\frac{7.3}{2}x^2)} \lessgtr 0.7 \cdot 1.3 \cdot x e^{(-\frac{1.3}{2}x^2)} </math> | ||
Строка 219: | Строка 219: | ||
Аналогично для других точек. | Аналогично для других точек. | ||
- | == Задача 5 == | ||
- | |||
- | Задана таблица совместных значений прогнозируемой переменной Y и объясняющей переменной X. Требуется вычислить ковариацию между Y и X, коэффициент корреляции между Y и X, коэффициенты одномерной линейной регрессии. | ||
- | |||
- | {| border = 1 | ||
- | | Y | ||
- | | 5.9 | ||
- | | 4.0 | ||
- | | 2.4 | ||
- | | 1.7 | ||
- | |- | ||
- | | X | ||
- | | 8.3 | ||
- | | 7.6 | ||
- | | 3.0 | ||
- | | 2.3 | ||
- | |} | ||
- | |||
- | === Решение === | ||
- | |||
- | <math> cov(X,Y) = \overline{(X - \overline{X})(Y - \overline{Y})} </math> | ||
- | |||
- | <math> \overline{X} = 5.3 </math> | ||
- | |||
- | <math> \overline{Y} = 3.5 </math> | ||
- | |||
- | <math> cov(X,Y) = \frac{1}{4}((5.9 - 3.5)\cdot(8.3 - 5.3) + (4.0 - 3.5)\cdot(7.6 - 5.3) + (2.4 - 3.5)\cdot(3.0 - 5.3) + (1.7 - 3.5)\cdot(2.3 - 5.3)) = 4.07 </math> | ||
- | |||
- | <math> r(X,Y) = \frac{cov(X,Y)}{\sqrt{DX}\sqrt{DY}} </math> | ||
- | |||
- | <math> DX = \overline{(X-\overline{X})^2} = 7.145 </math> | ||
- | |||
- | <math> DY = \overline{(Y-\overline{Y})^2} = 2.615 </math> | ||
- | |||
- | <math> r(X,Y) = \frac{4.07}{\sqrt{7.145}\sqrt{2.615}} = 0.94 </math> | ||
- | |||
- | Воспользуемся методом наименьших квадратов для расчета коэффициентов одномерной линейной регрессии <math> Y = a + bX </math>: | ||
- | |||
- | <math> b = \frac{cov(X,Y)}{DX} = \frac{4.07}{7.145} = 0.57 </math> | ||
- | |||
- | <math> a = \overline{Y} - b\overline{X} = 3.5 - 0.57 \cdot 5.3 = 0.479 </math> | ||
- | |||
- | Получаем линейную регрессию: <math> Y = 0.479 + 0.57X </math> | ||
- | |||
- | == Задача 6 == | ||
- | |||
- | Заданы таблицы значений бинарных признаков для классов <math>K_1</math> и <math>K_2</math>. Требуется найти все тупиковые тесты минимальной длины, а также указать для каждого класса по одному представительному набору, который не совпадает по признакам с тупиковым тестом. | ||
- | |||
- | {| border = 1 | ||
- | |colspan="4" | Класс 1 | ||
- | |- | ||
- | | X_1 || X_2 || X_3 || X_4 | ||
- | |- | ||
- | | 0 || 0 || 0 || 0 | ||
- | |- | ||
- | | 1 || 0 || 1 || 0 | ||
- | |- | ||
- | | 0 || 0 || 0 || 1 | ||
- | |} | ||
- | |||
- | {| border = 1 | ||
- | |colspan="4" | Класс 2 | ||
- | |- | ||
- | | X_1 || X_2 || X_3 || X_4 | ||
- | |- | ||
- | | 1 || 0 || 1 || 1 | ||
- | |- | ||
- | | 1 || 1 || 0 || 0 | ||
- | |- | ||
- | | 1 || 1 || 0 || 0 | ||
- | |} | ||
- | |||
- | === Решение === | ||
- | |||
- | Кратчайший тупиковый тест состоит из трёх столбцов: <math> (X_1, X_2, X_4), (X_1, X_3, X_4) </math> или <math> (X_2, X_3, X_4) </math>. Тестов длины 2 не существует, т.к. для любой пары столбцов найдутся две одинаковые строки в каждой из таблиц. | ||
- | |||
- | Представительный набор определяется для класса и для элемента. Например, для первого элемента первого класса представительным будет набор - <math>(0, 0, X_3, X_4)</math> (заметим, что этот набор не тупиковый, подходит также <math>(0, X_2, X_3, X_4)</math>), а для первого элемента второго класса - набор <math>(X_1, X_2, 1, 1)</math> | ||
{{Курс МОТП}} | {{Курс МОТП}} |