Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2011/Задание 2
Материал из MachineLearning.
(Различия между версиями)
м (→Вариант 1) |
|||
| (2 промежуточные версии не показаны) | |||
| Строка 1: | Строка 1: | ||
| - | |||
| - | |||
{{Main|Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)}} | {{Main|Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)}} | ||
| Строка 12: | Строка 10: | ||
== Вариант 1 == | == Вариант 1 == | ||
# Доказать, что <tex>\frac{\partial}{\partial A}tr(ABAC) = C^TA^TB^T + B^TA^TC^T</tex>. | # Доказать, что <tex>\frac{\partial}{\partial A}tr(ABAC) = C^TA^TB^T + B^TA^TC^T</tex>. | ||
| - | # Вычислить <tex>\mathbb{E}_{\mathcal{N}(\vec{x}|\vec{\mu},\Sigma)}(\vec{x}-\vec{a})^TB(\vec{x}-\vec{a}) = \int(\vec{x}-\vec{a})^TB(\vec{x}-\vec{a})\mathcal{N}(\vec{x}|\vec{\mu},\Sigma)d\vec{x}</tex>. | + | # Вычислить <tex>\mathbb{E}_{\mathcal{N}(\vec{x}|\vec{\mu},\Sigma)}(\vec{x}-\vec{a})^TB(\vec{x}-\vec{a}) = \int(\vec{x}-\vec{a})^TB(\vec{x}-\vec{a})\mathcal{N}(\vec{x}|\vec{\mu},\Sigma)d\vec{x}</tex>. Здесь матрица <tex>B</tex> является симметричной и положительно определенной. |
# Пусть <tex>p(\vec{x})=\mathcal{N}(\vec{x}|\vec{\mu},\Sigma),\ p(\vec{y}|\vec{x})=\mathcal{N}(\vec{y}|A\vec{x},\Gamma)</tex>. Доказать, что <tex>p(\vec{y})=\mathcal{N}(\vec{y}|A\vec{\mu},\Gamma+A\Sigma A^T)</tex>. | # Пусть <tex>p(\vec{x})=\mathcal{N}(\vec{x}|\vec{\mu},\Sigma),\ p(\vec{y}|\vec{x})=\mathcal{N}(\vec{y}|A\vec{x},\Gamma)</tex>. Доказать, что <tex>p(\vec{y})=\mathcal{N}(\vec{y}|A\vec{\mu},\Gamma+A\Sigma A^T)</tex>. | ||
| Строка 21: | Строка 19: | ||
== Вариант 3 == | == Вариант 3 == | ||
| + | # Доказать, что <tex>\frac{\partial}{\partial x}\log\det A = tr(A^{-1}\frac{\partial A}{\partial x})</tex>. Здесь <tex>x</tex> — скалярная переменная. ''Подсказка: использовать разложение определителя матрицы по строке.'' | ||
| + | # Доказать, что оценка максимального правдоподобия для матрицы ковариации <tex>\Sigma</tex> нормального распределения равна <tex>\frac{1}{N}\sum_{n=1}^N(\vec{x}_n-\vec{\mu})(\vec{x}_n-\vec{\mu})^T</tex>. ''Подсказка: дифференцировать функцию правдоподобия по матрице точности <tex>\Lambda=\Sigma^{-1}</tex>''. | ||
| + | # Пусть <tex>p(\vec{x})\propto\frac{\mathcal{N}(\vec{x}|\vec{\mu}_1,\Sigma_1)\mathcal{N}(\vec{x}|\vec{\mu}_2,\Sigma_2)}{\mathcal{N}(\vec{x}|\vec{\mu}_3,\Sigma_3)</tex>. Найти <tex>p(\vec{x})</tex>. | ||
== Оформление задания == | == Оформление задания == | ||
| + | Задание оформляется на бумаге с проведением всех выкладок. Выполненное задание можно отсканировать и послать по адресу ''bayesml@gmail.com'' с заголовком письма «Задание 2 <Номер_группы> <ФИО>» или сдать листы непосредственно на лекции по спецкурсу. | ||
Текущая версия
Содержание |
Начало выполнения задания: 19 октября 2011 г.
Срок сдачи: 2 ноября 2011 г. (среда), 23:59.
Целью задания является приобретение студентами навыков в матричных вычислениях. Задание состоит из трех вариантов. Распределение студентов по вариантам сохраняется с предыдущего задания.
Вариант 1
- Доказать, что
.
- Вычислить
. Здесь матрица
является симметричной и положительно определенной.
- Пусть
. Доказать, что
.
Вариант 2
- Доказать, что
. Здесь
— скалярная переменная.
- Доказать тождество Вудберри:
. Здесь
— прямоугольные матрицы. Подсказка: для доказательства достаточно просто перемножить две матрицы и убедиться, что их произведение равно единичной матрице.
- Пусть
и
. Доказать, что
.
Вариант 3
- Доказать, что
. Здесь
- Доказать, что оценка максимального правдоподобия для матрицы ковариации
нормального распределения равна
. Подсказка: дифференцировать функцию правдоподобия по матрице точности
.
- Пусть
. Найти
.
Оформление задания
Задание оформляется на бумаге с проведением всех выкладок. Выполненное задание можно отсканировать и послать по адресу bayesml@gmail.com с заголовком письма «Задание 2 <Номер_группы> <ФИО>» или сдать листы непосредственно на лекции по спецкурсу.
