Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2011/Задание 2

Материал из MachineLearning.

Версия от 18:27, 19 октября 2011; Kropotov (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Внимание! Текст задания находится в стадии формирования. Убедительная просьба не приступать к выполнению задания до тех пор, пока это предупреждение не будет удалено.

Основная статья: Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)

Начало выполнения задания: 19 октября 2011 г.
Срок сдачи: 2 ноября 2011 г. (среда), 23:59.

Целью задания является приобретение студентами навыков в матричных вычислениях. Задание состоит из трех вариантов. Распределение студентов по вариантам сохраняется с предыдущего задания.

Вариант 1

Доказать, что $\frac{\partial}{\partial A}tr(ABAC) = C^TA^TB^T + B^TA^TC^T$ .
Вычислить $\mathbb{E}_{\mathcal{N}(\vec{x}|\vec{\mu},\Sigma)}(\vec{x}-\vec{a})^TB(\vec{x}-\vec{a}) = \int(\vec{x}-\vec{a})^TB(\vec{x}-\vec{a})\mathcal{N}(\vec{x}|\vec{\mu},\Sigma)d\vec{x}$ .
Пусть $p(\vec{x})=\mathcal{N}(\vec{x}|\vec{\mu},\Sigma),\ p(\vec{y}|\vec{x})=\mathcal{N}(\vec{y}|A\vec{x},\Gamma)$ . Доказать, что $p(\vec{y})=\mathcal{N}(\vec{y}|A\vec{\mu},\Gamma+A\Sigma A^T)$ .

Вариант 2

Доказать, что $\frac{\partial}{\partial x}A^{-1} = -A^{-1}\frac{\partial A}{\partial x}A^{-1}$ . Здесь $x$ — скалярная переменная.
Доказать тождество Вудберри: $(A+UCV)^{-1}=A^{-1} - A^{-1}U(C^{-1}+VA^{-1}U)^{-1}VA^{-1}$ . Здесь $U, V$ — прямоугольные матрицы. Подсказка: для доказательства достаточно просто перемножить две матрицы и убедиться, что их произведение равно единичной матрице.
Пусть $\vec{x}=[\vec{x}_a; \vec{x}_b]$ и $p(\vec{x})=\mathcal{N}(\vec{x}|\vec{\mu},\Sigma)$ . Доказать, что $p(\vec{x}_a|\vec{x}_b)=\mathcal{N}(\vec{x}_a|\vec{\mu}_a-\Lambda_{aa}^{-1}\Lambda_{ab}(\vec{x}_b-\vec{\mu}_b),\Lambda_{aa}^{-1})$ .