Участник:Aleksandra.Tokmakova
Материал из MachineLearning.
(→Отчеты о научно-исследовательской работе) |
(→Весна 2012, 8-й семестр) |
||
Строка 101: | Строка 101: | ||
*«Оценивание гиперпараметров линейных регрессионных моделей при отборе шумовых и коррелирующих признаков», ПГАС | *«Оценивание гиперпараметров линейных регрессионных моделей при отборе шумовых и коррелирующих признаков», ПГАС | ||
- | === | + | === Осень 2012, 9-й семестр === |
- | ''' | + | '''Методы оценки ковариационных матриц в задаче регрессионного анализа''' |
- | '' | + | ''Работа посвящена исследованию алгоритмов оценивания ковариационных матриц параметров регрессионных моделей. Принята гипотеза о том, что зависимая переменная и параметры регрессионной модели~--- многомерные случайные величины, имеющие нормальное распределение. Считается, что ковариационная матрица распределения зависимой переменной известна и фиксирована. Рассмотрены случаи диагональных ковариационных матриц и матриц общего вида, проводится сравнительный анализ представленных методов. Сравниваются три подхода к оценке ковариационной матрицы параметров модели: аппроксимация матрицей, полученной с помощью метода наименьших квадратов; аппроксимация Лапласа; максимизация правдоподобия модели методом Монте-Карло.'' |
'''Публикации''' | '''Публикации''' | ||
- | *{{ | + | *{{Тезисы |
- | |автор = | + | |автор = Токмакова А.А. |
|автор2 = Стрижов В.В. | |автор2 = Стрижов В.В. | ||
- | + | |название = Оценка гиперпараметров линейных регрессионных моделей при отборе шумовых и мультикоррелирующих признаков | |
- | + | |журнал = Международная конференция "Интеллектуализация обработки информации" (ИОИ-9), 16-22 сентября | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | |название = Оценка гиперпараметров линейных регрессионных моделей | + | |
- | |журнал = | + | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
|год = 2012 | |год = 2012 | ||
|язык = russian | |язык = russian | ||
- | |||
}} | }} | ||
'''Гранты''' | '''Гранты''' | ||
- | * | + | *<<Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия>>, ПГАС |
+ | *<<Алгоритмы выбора обобщенно-линейных моделей в задачах классификации в условиях малого объема выборки>>, грант №12-0731095, мол-а-2012 |
Версия 12:10, 21 декабря 2012
МФТИ, ФУПМ
Кафедра "Интеллектуальные системы"
Направление "Интеллектуальный анализ данных"
Mailto: aleksandra-tok@yandex.ru
Отчеты о научно-исследовательской работе
Весна 2011, 6-й семестр
Выделение периодической компоненты из временного ряда
В проекте исследуется временной ряд на наличие периодической компоненты. На основе теории о рядах Фурье строится тригонометрическая интерполяция предложенных временных рядов методом наименьших квадратов. Также производится оценка параметров функции метода наименьших квадратов в зависимости от качества прогнозирования. В вычислительном эксперименте приводятся результаты работы корреляционной функции и метода наименьших квадратов на зашумлённом модельном синусе и реальном временном ряде электрокардиограммы.
Публикация
- Токмакова А.А. Выделение периодической компоненты из временного ряда // Машинное обучение и анализ данных. — 2011. — № 1. — С. 40-50. — ISSN 2223-3792.
Осень 2011, 7-й семестр
Получение устойчивых оценок гиперпараметров линейных регрессионных моделей
В работе решается задача отбора признаков при восстановлении линейной регрессии. Принята гипотеза о нормальном распределении вектора зависимой переменной и~параметров модели. Для оценки ковариационной матрицы параметров используется аппроксимация Лапласа: логарифм функции ошибки приближается функцией нормального распределения. Исследуется проблема присутствия в выборке шумовых и коррелирующих признаков, так как при их наличии матрица ковариаций параметров модели становится вырожденной. Предлагается алгоритм, производящий отбор информативных признаков. В вычислительном эксперименте приводятся результаты исследования на временном ряде.
Публикации
- Токмакова А.А. Получение устойчивых оценок гиперпараметров линейных регрессионных моделей // Машинное обучение и анализ данных. — 2011. — № 2. — С. 140-155. — ISSN 2223-3792.
- Стрижов В.В., Токмакова А.А. Оценивание гиперпараметров линейных регрессионных моделей при отборе шумовых и коррелирующих признаков // Информатика и её применения. — 2012. — № 4. — ISSN 1992-2264 (принято в печать).
Весна 2012, 8-й семестр
Оценка гиперпараметров линейных регрессионных моделей методом максимального правдоподобия при отборе шумовых и коррелирующих признаков
Рассматривается задача выбора регрессионной модели. Предполагается, что вектор параметров модели − многомерная случайная величина с независимо распределёнными компонентами. В работе предложен способ оптимизации праметров и гиперпараметров. Приведены явные оценки гиперпараметров для случая линейных и нелинейных моделей. Показано как полученные оценки используются для отбора признаков. Предложенный подход сравнивается с подходом, использующим для лценки гиперпараметров аппроксимацию Лапласа.
Публикации
- Зайцев А.А., Стрижов В.В., Токмакова А.А. Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия // Информационные технологии. — 2012. — № 11. — ISSN 1684-6400 (принято в печать).
- Зайцев А.А., Токмакова А.А. Оценка гиперпараметров линейных регрессионных моделей методом максимального правдоподобия при отборе шумовых и коррелирующих признаков // Машинное обучение и анализ данных. — 2012. — № 3. — С. 347-353. — ISSN 2223-3792.
Доклад на научной конференции
- Токмакова А.А. Оценка ковариационных матриц параметров модели при восстановлении линейной регрессии // XIX Международная конференция студентов, аспирантов и молодых ученых «Ломоносов», апрель. — 2012.
Гранты
- «Оценивание гиперпараметров линейных регрессионных моделей при отборе шумовых и коррелирующих признаков», ПГАС
Осень 2012, 9-й семестр
Методы оценки ковариационных матриц в задаче регрессионного анализа
Работа посвящена исследованию алгоритмов оценивания ковариационных матриц параметров регрессионных моделей. Принята гипотеза о том, что зависимая переменная и параметры регрессионной модели~--- многомерные случайные величины, имеющие нормальное распределение. Считается, что ковариационная матрица распределения зависимой переменной известна и фиксирована. Рассмотрены случаи диагональных ковариационных матриц и матриц общего вида, проводится сравнительный анализ представленных методов. Сравниваются три подхода к оценке ковариационной матрицы параметров модели: аппроксимация матрицей, полученной с помощью метода наименьших квадратов; аппроксимация Лапласа; максимизация правдоподобия модели методом Монте-Карло.
Публикации
Гранты
- <<Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия>>, ПГАС
- <<Алгоритмы выбора обобщенно-линейных моделей в задачах классификации в условиях малого объема выборки>>, грант №12-0731095, мол-а-2012
Категории: Токмакова А.А. (публикации) | 2011 (публикации) | Машинное обучение и анализ данных (статьи) | Стрижов В.В. (публикации) | 2012 (публикации) | Информатика и её применения (статьи) | Зайцев А.А. (публикации) | Информационные технологии (статьи) | XIX Международная конференция студентов, аспирантов и молодых ученых «Ломоносов», апрель (статьи)