{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "## Машинное обучение \n", "### Факультет математики НИУ ВШЭ, 2019-20 учебный год\n", "\n", "_Илья Щуров, Соня Дымченко, Руслан Хайдуров, Александр Каган, Павел Балтабаев_\n", "\n", "[Страница курса](http://wiki.cs.hse.ru/Машинное_обучение_на_матфаке_2020)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## Домашнее задание №2\n", "\n", "Фамилия и имя студента: _(впишите свои)_" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Определение: равномерное распределение\n", "Абсолютно непрерывная случайная величина $X$ называется *равномерно распределённой* на отрезке $[a, b]$, если её плотность задаётся функцией \n", "$$p_{X}(x)=\\frac{1}{b-a}\\mathbb I_{[a, b]}(x),$$\n", "где $\\mathbb I_{[a, b]}$ — индикаторная функция отрезка $[a, b]$. Пишут:\n", "\n", "$$\\newcommand{\\Uniform}{\\mathop{\\mathrm{Uniform}}}\n", "X\\sim \\Uniform(a, b)$$\n", "\n", "### Задача 1 (10 баллов)\n", "Пусть $X \\sim \\Uniform(a, b)$, $b>a>0$, $Y=X^2$.\n", "\n", "1. Найти плотность $p_Y(y)$. Является ли она ограниченной?\n", "2. Пусть $y_1, \\ldots, y_n$ — некоторая выборка, порождённая случайной величиной $Y$. Придумать какую-нибудь состоятельную оценку для параметра $a$ по этой выборке.\n", "3. Является ли придуманная вами оценка несмещённой? (Подсказка: возьмите, например, $n=1$.)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "*(впишите своё решение сюда)*" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Задача 2 (15 баллов)\n", "\n", "Пусть \n", "\n", "$$\n", "\\begin{gather*}\n", "X \\sim \\Uniform(-1, 1),\\\\\n", "\\varepsilon \\sim \\Uniform(0, 1),\\\\\n", "Y=X+\\varepsilon X,\n", "\\end{gather*}\n", "$$\n", "где $\\varepsilon$ независим от $X$.\n", "\n", "1. Найти $p_{X}(x)$, $p_{Y\\mid X}(y\\mid x)$, $p_{X, Y}(x, y)$. Является ли эта функция ограниченной?\n", "2. Найти $\\mathbb E[Y|X=x_0]$ (это какая-то функция от числа $x_0$).\n", "3. Найти $p_{Y}(y)$ — маргинальную плотность $y$. Проверьте, что это действительно плотность, то есть $\\int_{\\mathbb R}p_Y(y)dy=1$. Является ли эта функция ограниченной?\n", "4. Как изменился бы ответ на вопрос 1, если бы $\\varepsilon$ не был независим от $X$, а вычислялся по формуле: $\\varepsilon = |X|$. (Проверьте, что в этом случае распределение $\\varepsilon$ по-прежнему $\\Uniform(0, 1)$.)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "*(впишите своё решение сюда)*" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Задача 3 (15 баллов)\n", "Маша, Катя и Люба изучают выборку $x_1, \\ldots, x_n$ из нормального распределения с неизвестным средним $\\mu$ и дисперсией $1$. Они хотят оценить $\\mu$ по этой выборке. Маша в качестве оценки использует выборочное среднее $\\mathrm{\\mathop{Ave}}$ (то есть просто среднее арифметическое), Катя использует [медиану выборки](https://ru.wikipedia.org/wiki/Медиана_(статистика%29), а Люба функцию $\\mathrm{\\mathop{midrange}}$:\n", "$$\\mathrm{\\mathop{midrange}}(x_1, \\ldots, x_n)=\\frac{1}{2}(\\max(x_1, \\ldots, x_n)+\\min(x_1, \\ldots, x_n)).$$\n", "\n", "1. Являются ли эти оценки несмещенными? Ответьте с помощью численного эксперимента: зафиксируйте какое-нибудь $\\mu$ (например, $\\mu=0$) и $n$ (например, $n=10$), сгенерируйте много (например, 10 000) выборок (это можно сделать с помощью функции `np.random.normal`, в качестве `size` нужно передать пару `(число_выборок, n)` — получится матрица указанного размера, заполненная случайными числами из данного распределения), для каждой найдите значение соответствующей функции (нужно использовать функции `np.mean`, `np.random`, `np.max`, `np.min` — все они принимают параметр `axis` — изучите, как он работает) и усредните их. Получается ли число, близкое к $\\mu$? Становится ли оно ближе с увеличением числа выборок (при фиксированном $n$)?\n", "\n", "2. Оцените дисперсию каждой оценки для различных $n$. Зафиксируйте число выборок (допустим, 1000) и в цикле по `n` от 2 до 100 выполните следующее. Сгенерируйте 1000 выборок длиной $n$, для каждой выборки найдите значение соответствущей оценки (аналогично предыдущему пункту) и посчитайте выборочную дисперсию для полученных оценок (с помощью `.var()`). Постройте график, показывающий зависимость дисперсии каждой из оценок от $n$. Какая оценка имеет наименьшую дисперсию? Какая наибольшую? Какую из этих оценок вы бы стали использовать, если бы хотели минимизировать квадратичную ошибку предсказания?\n", "\n", "3. Выполните пункт 2 для равномерного распределения на отрезке $[-1, 1]$. Какая теперь оценка имеет наименьшую дисперсию? Какая наибольшую? Как вы можете объяснить разницу с предыдущим пунктом? Какую из этих оценок вы бы стали использовать в этом случае, если бы хотели минимизировать квадратичную ошибку предсказания?" ] }, { "cell_type": "code", "execution_count": 1, "metadata": {}, "outputs": [], "source": [ "# впишите решение сюда" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Задача 4 (10 баллов)\n", "Рассмотрим случайную величину $Y$, имеющую плотность $p(y)$, которую мы будем считать известной функцией. Мы хотим подобрать такую величину $\\hat y \\in \\mathbb R$, чтобы матожидание функции потерь $\\mathbb E_{y\\sim Y} L(y, \\hat y)$ было минимальным. Пусть $L(y, \\hat y)=|y-\\hat y|$. Выразить оптимальное $\\hat y$ через функцию $p$." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "_(впишите решение сюда)_" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Задача 5 (12 баллов)\n", "Пусть дана выборка $x_1, \\ldots, x_n$, все $x_i \\in \\mathbb R$ распределены как случайная величина $X$ и независимы в совокупности, $\\mathbb E[X]<\\infty$, $\\mathbb D[X]<\\infty$. Для фиксированного вектора $w\\in \\mathbb R^n$ рассмотрим функцию\n", "$$\\varphi_w(x)=\\langle w, x \\rangle,$$\n", "где $\\langle w, x \\rangle$ — стандартное скалярное произведение (скалярное произведение, записанное в ортонормированном базисе).\n", "\n", "1. При каком условии на $w$ эта функция будет несмещённой оценкой для $\\mathbb E[X]$?\n", "2. Среди всех $w$, при которых $\\varphi_w(x)$ является несмещённой оценкой для $\\mathbb E[X]$, найти такое, при котором дисперсия $\\varphi_w(x)$ будет наименьшей. (Подсказка: вам понадобятся множители Лагранжа.)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "*(впишите решение сюда)*" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Задача 6 (10 баллов)\n", "Рассмотрим задачу регрессии с одномерным пространством признаков. Пусть\n", "истинный закон генерирования данных описывается следующим образом: все $x_i$\n", "фиксированы и заданы так: $x_i=i-3$, $i=1, \\ldots, 5$, а $y_i$ являются\n", "случайными величинами:\n", "$$y_i = |x_i| + \\varepsilon_i,$$ где все $\\varepsilon_i$ независимы, $\\mathbb\n", "E[\\varepsilon_i]=0$, $\\mathbb D[\\varepsilon_i]=4$. Пусть $f_k(x)$\n", "— предсказание метода $k$ ближайших соседей в точке $x$. Найти ожидаемую\n", "квадратичную ошибку предсказания в точке $x=0$ для $k=3$.\n", "Представить её в виде суммы шума, смещения и разброса.\n" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "_(впишите решение сюда)_" ] } ], "metadata": { "kernelspec": { "display_name": "Python 3", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.7.2" } }, "nbformat": 4, "nbformat_minor": 2 }