Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2011/Задание 2

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (→Вариант 3)
Строка 20: Строка 20:
== Вариант 3 ==
== Вариант 3 ==
# Доказать, что <tex>\frac{\partial}{\partial x}\log\det A = tr(A^{-1}\frac{\partial A}{\partial x})</tex>. Здесь <tex>x</tex> — скалярная переменная. ''Подсказка: использовать разложение определителя матрицы по строке.''
# Доказать, что <tex>\frac{\partial}{\partial x}\log\det A = tr(A^{-1}\frac{\partial A}{\partial x})</tex>. Здесь <tex>x</tex> — скалярная переменная. ''Подсказка: использовать разложение определителя матрицы по строке.''
-
# Доказать, что оценка максимального правдоподобия для матрицы ковариации <tex>\Sigma</tex> нормального распределения равна <tex>\frac{1}{N}\sum_{n=1}^N(\vec{x}_n-\vec{\mu})(\vec{x}_n-\vec{\mu})^T</tex>.
+
# Доказать, что оценка максимального правдоподобия для матрицы ковариации <tex>\Sigma</tex> нормального распределения равна <tex>\frac{1}{N}\sum_{n=1}^N(\vec{x}_n-\vec{\mu})(\vec{x}_n-\vec{\mu})^T</tex>. ''Подсказка: дифференцировать функцию правдоподобия по матрице точности <tex>\Lambda=\Sigma^{-1}</tex>''.
# Пусть <tex>p(\vec{x})\propto\frac{\mathcal{N}(\vec{x}|\vec{\mu}_1,\Sigma_1)\mathcal{N}(\vec{x}|\vec{\mu}_2,\Sigma_2)}{\mathcal{N}(\vec{x}|\vec{\mu}_3,\Sigma_3)</tex>. Найти <tex>p(\vec{x})</tex>.
# Пусть <tex>p(\vec{x})\propto\frac{\mathcal{N}(\vec{x}|\vec{\mu}_1,\Sigma_1)\mathcal{N}(\vec{x}|\vec{\mu}_2,\Sigma_2)}{\mathcal{N}(\vec{x}|\vec{\mu}_3,\Sigma_3)</tex>. Найти <tex>p(\vec{x})</tex>.
== Оформление задания ==
== Оформление задания ==
Задание оформляется на бумаге с проведением всех выкладок. Выполненное задание можно отсканировать и послать по адресу ''bayesml@gmail.com'' с заголовком письма «Задание 2 <Номер_группы> <ФИО>» или сдать листы непосредственно на лекции по спецкурсу.
Задание оформляется на бумаге с проведением всех выкладок. Выполненное задание можно отсканировать и послать по адресу ''bayesml@gmail.com'' с заголовком письма «Задание 2 <Номер_группы> <ФИО>» или сдать листы непосредственно на лекции по спецкурсу.

Версия 22:15, 19 октября 2011

Основная статья: Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)

Содержание


Начало выполнения задания: 19 октября 2011 г.
Срок сдачи: 2 ноября 2011 г. (среда), 23:59.

Целью задания является приобретение студентами навыков в матричных вычислениях. Задание состоит из трех вариантов. Распределение студентов по вариантам сохраняется с предыдущего задания.

Вариант 1

  1. Доказать, что \frac{\partial}{\partial A}tr(ABAC) = C^TA^TB^T + B^TA^TC^T.
  2. Вычислить \mathbb{E}_{\mathcal{N}(\vec{x}|\vec{\mu},\Sigma)}(\vec{x}-\vec{a})^TB(\vec{x}-\vec{a}) = \int(\vec{x}-\vec{a})^TB(\vec{x}-\vec{a})\mathcal{N}(\vec{x}|\vec{\mu},\Sigma)d\vec{x}.
  3. Пусть p(\vec{x})=\mathcal{N}(\vec{x}|\vec{\mu},\Sigma),\ p(\vec{y}|\vec{x})=\mathcal{N}(\vec{y}|A\vec{x},\Gamma). Доказать, что p(\vec{y})=\mathcal{N}(\vec{y}|A\vec{\mu},\Gamma+A\Sigma A^T).

Вариант 2

  1. Доказать, что \frac{\partial}{\partial x}A^{-1} = -A^{-1}\frac{\partial A}{\partial x}A^{-1}. Здесь x — скалярная переменная.
  2. Доказать тождество Вудберри: (A+UCV)^{-1}=A^{-1} - A^{-1}U(C^{-1}+VA^{-1}U)^{-1}VA^{-1}. Здесь U, V — прямоугольные матрицы. Подсказка: для доказательства достаточно просто перемножить две матрицы и убедиться, что их произведение равно единичной матрице.
  3. Пусть \vec{x}=[\vec{x}_a; \vec{x}_b] и p(\vec{x})=\mathcal{N}(\vec{x}|\vec{\mu},\Sigma). Доказать, что p(\vec{x}_a|\vec{x}_b)=\mathcal{N}(\vec{x}_a|\vec{\mu}_a-\Lambda_{aa}^{-1}\Lambda_{ab}(\vec{x}_b-\vec{\mu}_b),\Lambda_{aa}^{-1}).

Вариант 3

  1. Доказать, что \frac{\partial}{\partial x}\log\det A = tr(A^{-1}\frac{\partial A}{\partial x}). Здесь x — скалярная переменная. Подсказка: использовать разложение определителя матрицы по строке.
  2. Доказать, что оценка максимального правдоподобия для матрицы ковариации \Sigma нормального распределения равна \frac{1}{N}\sum_{n=1}^N(\vec{x}_n-\vec{\mu})(\vec{x}_n-\vec{\mu})^T. Подсказка: дифференцировать функцию правдоподобия по матрице точности \Lambda=\Sigma^{-1}.
  3. Пусть p(\vec{x})\propto\frac{\mathcal{N}(\vec{x}|\vec{\mu}_1,\Sigma_1)\mathcal{N}(\vec{x}|\vec{\mu}_2,\Sigma_2)}{\mathcal{N}(\vec{x}|\vec{\mu}_3,\Sigma_3). Найти p(\vec{x}).

Оформление задания

Задание оформляется на бумаге с проведением всех выкладок. Выполненное задание можно отсканировать и послать по адресу bayesml@gmail.com с заголовком письма «Задание 2 <Номер_группы> <ФИО>» или сдать листы непосредственно на лекции по спецкурсу.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%BE%D0%B2%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%94.%D0%9F._%D0%92%D0%B5%D1%82%D1%80%D0%BE%D0%B2%2C_%D0%94.%D0%90._%D0%9A%D1%80%D0%BE%D0%BF%D0%BE%D1%82%D0%BE%D0%B2%29/2011/%D0%97%D0%B0%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5_2»
Личные инструменты