Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2011/Задание 2

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: {{stop|Внимание! Текст задания находится в стадии формирования. Убедительная просьба не приступать к вы...)
Строка 7: Строка 7:
'''Начало выполнения задания''': 19 октября 2011 г.<br>
'''Начало выполнения задания''': 19 октября 2011 г.<br>
'''Срок сдачи''': {{важно|2 ноября 2011 г. (среда), 23:59.}}
'''Срок сдачи''': {{важно|2 ноября 2011 г. (среда), 23:59.}}
 +
 +
Целью задания является приобретение студентами навыков в матричных вычислениях. Задание состоит из трех вариантов. Распределение студентов по вариантам сохраняется с [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2011/Задание 1#Распределение студентов по вариантам|предыдущего задания]].
 +
 +
== Вариант 1 ==
 +
# Доказать, что <tex>\frac{\partial}{\partial A}tr(ABAC) = C^TA^TB^T + B^TA^TC^T</tex>.
 +
# Вычислить <tex>\mathbb{E}_{\mathcal{N}(\vec{x}|\vec{\mu},\Sigma)}(\vec{x}-\vec{a})^TB(\vec{x}-\vec{a}) = \int(\vec{x}-\vec{a})^TB(\vec{x}-\vec{a})\mathcal{N}(\vec{x}|\vec{\mu},\Sigma)d\vec{x}</tex>.
 +
# Пусть <tex>p(\vec{x})=\mathcal{N}(\vec{x}|\vec{\mu},\Sigma),\ p(\vec{y}|\vec{x})=\mathcal{N}(\vec{y}|A\vec{x},\Gamma)</tex>. Доказать, что <tex>p(\vec{y})=\mathcal{N}(\vec{y}|A\vec{\mu},\Gamma+A\Sigma A^T)</tex>.
 +
 +
== Вариант 2 ==
 +
# Доказать, что <tex>\frac{\partial}{\partial x}A^{-1} = -A^{-1}\frac{\partial A}{\partial x}A^{-1}</tex>. Здесь <tex>x</tex> — скалярная переменная.
 +
# Доказать тождество Вудберри: <tex>(A+UCV)^{-1}=A^{-1} - A^{-1}U(C^{-1}+VA^{-1}U)^{-1}VA^{-1}</tex>. Здесь <tex>U, V</tex> — прямоугольные матрицы. ''Подсказка: для доказательства достаточно просто перемножить две матрицы и убедиться, что их произведение равно единичной матрице.''
 +
# Пусть <tex>\vec{x}=[\vec{x}_a; \vec{x}_b]</tex> и <tex>p(\vec{x})=\mathcal{N}(\vec{x}|\vec{\mu},\Sigma)</tex>. Доказать, что <tex>p(\vec{x}_a|\vec{x}_b)=\mathcal{N}(\vec{x}_a|\vec{\mu}_a-\Lambda_{aa}^{-1}\Lambda_{ab}(\vec{x}_b-\vec{\mu}_b),\Lambda_{aa}^{-1})</tex>.
 +
 +
== Вариант 3 ==
 +
 +
== Оформление задания ==

Версия 18:27, 19 октября 2011

Внимание! Текст задания находится в стадии формирования. Убедительная просьба не приступать к выполнению задания до тех пор, пока это предупреждение не будет удалено.


Основная статья: Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)

Содержание


Начало выполнения задания: 19 октября 2011 г.
Срок сдачи: 2 ноября 2011 г. (среда), 23:59.

Целью задания является приобретение студентами навыков в матричных вычислениях. Задание состоит из трех вариантов. Распределение студентов по вариантам сохраняется с предыдущего задания.

Вариант 1

  1. Доказать, что \frac{\partial}{\partial A}tr(ABAC) = C^TA^TB^T + B^TA^TC^T.
  2. Вычислить \mathbb{E}_{\mathcal{N}(\vec{x}|\vec{\mu},\Sigma)}(\vec{x}-\vec{a})^TB(\vec{x}-\vec{a}) = \int(\vec{x}-\vec{a})^TB(\vec{x}-\vec{a})\mathcal{N}(\vec{x}|\vec{\mu},\Sigma)d\vec{x}.
  3. Пусть p(\vec{x})=\mathcal{N}(\vec{x}|\vec{\mu},\Sigma),\ p(\vec{y}|\vec{x})=\mathcal{N}(\vec{y}|A\vec{x},\Gamma). Доказать, что p(\vec{y})=\mathcal{N}(\vec{y}|A\vec{\mu},\Gamma+A\Sigma A^T).

Вариант 2

  1. Доказать, что \frac{\partial}{\partial x}A^{-1} = -A^{-1}\frac{\partial A}{\partial x}A^{-1}. Здесь x — скалярная переменная.
  2. Доказать тождество Вудберри: (A+UCV)^{-1}=A^{-1} - A^{-1}U(C^{-1}+VA^{-1}U)^{-1}VA^{-1}. Здесь U, V — прямоугольные матрицы. Подсказка: для доказательства достаточно просто перемножить две матрицы и убедиться, что их произведение равно единичной матрице.
  3. Пусть \vec{x}=[\vec{x}_a; \vec{x}_b] и p(\vec{x})=\mathcal{N}(\vec{x}|\vec{\mu},\Sigma). Доказать, что p(\vec{x}_a|\vec{x}_b)=\mathcal{N}(\vec{x}_a|\vec{\mu}_a-\Lambda_{aa}^{-1}\Lambda_{ab}(\vec{x}_b-\vec{\mu}_b),\Lambda_{aa}^{-1}).

Вариант 3

Оформление задания

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%BE%D0%B2%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%94.%D0%9F._%D0%92%D0%B5%D1%82%D1%80%D0%BE%D0%B2%2C_%D0%94.%D0%90._%D0%9A%D1%80%D0%BE%D0%BF%D0%BE%D1%82%D0%BE%D0%B2%29/2011/%D0%97%D0%B0%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5_2»
Личные инструменты