Участник:Oleg Bakhteev

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Весна 2014, 8 семестр)
Текущая версия (19:27, 21 февраля 2023) (править) (отменить)
м (Правки Strijov (обсуждение) откачены к версии Oleg Bakhteev)
 
(28 промежуточных версий не показаны.)
Строка 9: Строка 9:
''Работа посвящена восстановлению ежегодных изменений рейтингов студентов при собеседовании в учебный центр. Рассматривается выборка, состоящая з экспертных оценок студентов, проходивших собеседование в учебный центр в течение нескольких лет и итоговых рейтингов студентов. Шкалы экспертных оценок меняются из года в год, но шкала рейтингов остается неизменной. Требуется восстановить ранжирующую модель, не зависящую от времени. Задача сводится к восстановлению панельной матрицы (то есть матрицы объект–признак–год), ставящей во взаимное соответствие некоторого студента (или усредненный “портрет” студента) и его предполагаемую оценку на собеседованиях за каждый год, и исследованию ранжирующей модели, полученной на основе этой матрицы, а так же анализу ее устойчивости на протяжении нескольких лет. Предлагается метод восстановления панельной матрицы, основанный на решении многомерной задачи о назначениях. В качестве метода восстановления ранжирующей модели используется алгоритм многоклассовой классификации с отношением полного порядка на классах и алгоритм ранжирования, основанный на методе опорных векторов.'' <br/>
''Работа посвящена восстановлению ежегодных изменений рейтингов студентов при собеседовании в учебный центр. Рассматривается выборка, состоящая з экспертных оценок студентов, проходивших собеседование в учебный центр в течение нескольких лет и итоговых рейтингов студентов. Шкалы экспертных оценок меняются из года в год, но шкала рейтингов остается неизменной. Требуется восстановить ранжирующую модель, не зависящую от времени. Задача сводится к восстановлению панельной матрицы (то есть матрицы объект–признак–год), ставящей во взаимное соответствие некоторого студента (или усредненный “портрет” студента) и его предполагаемую оценку на собеседованиях за каждый год, и исследованию ранжирующей модели, полученной на основе этой матрицы, а так же анализу ее устойчивости на протяжении нескольких лет. Предлагается метод восстановления панельной матрицы, основанный на решении многомерной задачи о назначениях. В качестве метода восстановления ранжирующей модели используется алгоритм многоклассовой классификации с отношением полного порядка на классах и алгоритм ранжирования, основанный на методе опорных векторов.'' <br/>
'''Публикация'''<br/>
'''Публикация'''<br/>
-
Bakhteev O.Y., Strijov V.V. Panel matrix and ranking model recovery using
+
Бахтеев О. Ю. Восстановление панельной матрицы и ранжирующей модели по метризованной выборке в разнородных шкалах // Машинное обучение и анализ данных, 2015. T. 1. № 14. C. 1939-1960. [http://jmlda.org/papers/doc/2015/no14/Bakhteev2015Recovery.pdf]
-
mixed-scale measured data // Central European Journal of Operations Research (CEJOR) (подано). [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Bakhteev014UniversityRanking/doc/BakhteevReport.pdf?format=raw PDF]
+
'''Доклад на конференции'''<br/>
'''Доклад на конференции'''<br/>
57-ая конференция МФТИ: доклад "Восстановление панельной матрицы и ранжирующей модели в разнородных шкалах"
57-ая конференция МФТИ: доклад "Восстановление панельной матрицы и ранжирующей модели в разнородных шкалах"
-
 
== Осень 2014, 9 семестр ==
== Осень 2014, 9 семестр ==
-
'''Восстановление пропущенных значений по метризованной выборке в разнородных шкалах'''<br/>
+
'''Восстановление пропущенных значений в разнородных шкалах с большим числом пропусков'''<br/>
-
В работе рассматривается проблема заполнения большого количества пропусков в выборке в задачах анализа данных. Основной трудностью, связанной с заполнением пропусков, является неустойчивость полученной модели при уточнении части пропущенных данных. В работе изучается подход, основанный на заполнении данных методом ближайшего соседа, производится оценка точности заполнения пропусков в условиях равномерной непрерывности заполняющих функций. <br/>
+
Рассматривается задача восстановления пропущенных значений в выборках, содер-
 +
жащих значительное число пропусков. Вводится понятие устойчивости восстановления
 +
пропуска, а также исследуется возможность применимости подхода для восстановления
 +
пропущенных значений. Исследуется случай, когда восстановление производится по k бли-
 +
жайшим соседям. Рассматриваются теоретические аспекты применимости данного под-
 +
хода для сильно разреженных данных. Рассматривается вариант восстановления пропу-
 +
щенных значений с использованием восстановленных значений в качестве источника для
 +
восстановления других элементов. <br/>
'''Публикация'''<br/>
'''Публикация'''<br/>
-
Бахтеев О.Ю., Стрижов В.В. Восстановление пропущенных значений по метризованной выборке в разнородных шкалах (готовиться к подаче).
+
Бахтеев О.И. Восстановление пропущенных значений в разнородных шкалах с большим числом пропусков // Машинное обучение и анализ данных. 2015. T. 1, №11. C. 1484 - 1499.
-
[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Bakhteev2014MissData/doc/miss2.pdf?format=raw PDF]
+
[http://jmlda.org/papers/doc/2015/no11/Bakhteev2015MissingValues.pdf PDF]
 +
== Осень 2015, 11 семестр ==
 +
'''Системы и средства глубокого обучения в задачах классификации'''<br/>
 +
В работе рассматривается задача классификации временных рядов, т.е. упорядоченных по времени измерений некоторой величины. Рассматривается алгоритм классификации, основанный на искусственных нейросетях глубокого обучения, где под глубоким обучением понимается суперпозиция моделей. В качестве исследуемой структуры сети рассматривается композиция ограниченной машины Больцмана, автокодировщика и softmax-сети. Исследуется возможность обучения нейронной сети на процессоре графического ускорителя. Проводится анализ зависимости ошибки классификации от количества параметров и размера обучающей выборки.<br/>
-
'''Согласование экспертных оценок с большим количеством пропущенных значений'''<br/>
 
-
Рассматривается задача согласования экспертных оценок в условиях, когда каждый эксперт дает оценки по небольшой доле оцениваемых объектов. Для каждого эксперта задан частичный порядок на множестве признаковой значимости. Также предполагается, что для каждого эксперта задана значимость его оценок в итоговом согласованном решении. Проводится обзор существующих решений. Предлагается метод решения рассматриваемой задачи, основанный на методе Парето-расслоения. <br/>
 
'''Публикация'''<br/>
'''Публикация'''<br/>
-
Бахтеев О.Ю., Стрижов В.В. Согласование экспертных оценок с большим количеством пропущенных значений (готовиться к подаче).
+
Бахтеев О.Ю., Попова М.С., Стрижов В.В. Системы и средства глубокого обучения в задачах классификации // Системы и средства информатики, 2016, 26(2) : 4-22.
-
[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group074/Bakhteev2014MultiExpert/doc/multiexpert.pdf?format=raw PDF]
+
[http://strijov.com/papers/Bakhteev2016AWS.pdf PDF]
 +
 
 +
 
 +
== Осень 2016 ==
 +
'''Доклады на конференциях'''<br/>
 +
Выбор модели глубокого обучения субоптимальной сложности с использованием вариационной оценки правдоподобия // Интеллектуализация обработки информации ИОИ-2016.
 +
[https://elibrary.ru/item.asp?id=27408289 link]
 +
 
 +
== Весна 2017 ==
 +
'''Выбор моделей глубокого обучения субоптимальной сложности'''
 +
 
 +
В работе рассматривается задача построения моделей глубокого обучения субоптимальной сложности. Под сложностью модели понимается минимальная длина описания совокупности данных и модели классификации или регрессии. Вводятся статистические предположения о распределении параметров. На основе данных предположений предлагается оптимизируемый функция правдоподобия модели. Для выбора оптимальной модели предлагаются вариационные методы оценки
 +
правдодобия модели для получения вариационной оценки рассматривается ряд методов, основанных на градиентных алгоритмах оптимизации. Проводится вычислительный эксперимент на выборке рукпописных цифр.
 +
 
 +
Бахтеев О. Ю., Стрижов В. В. Выбор моделей глубокого обучения субоптимальной сложности // Автоматика и Телемеханика, 2018
 +
 
 +
== Осень 2017 ==
 +
'''Оптимизация гиперпараметров моделей глубокого обучения градиентными методами'''
 +
 
 +
Решается задача оптимизации гиперпараметров модели глубокого обучения. Для оптимизации гиперпараметров модели предлагаются алгоритмы, основанные на градиентном спуске. Так как сложность рассматриваемых алгоритмах сопоставима со сложностью оптимизации параметров модели, предлагается проводить оптимизацию параметров и гиперпараметров в единой процедуре. Для выбора адекватных значений гиперпараметров вводятся вероятностные предположения о распределении параметров. В качестве оптимизируемой функции выступает байесовское правдоподобие модели и кросс-валидация. Для получения оценки правдоподобия используются вариационные методы. Проводится вычислительный эксперимент на нескольких выборках.
 +
 
 +
O. Y. Bakhteev, V. V. Strijov. Comprehensive analysis of gradient-based hyperparameter optimization algorithms // New Generation Computing (in review).
 +
 
 +
'''Доклады на конференциях'''
 +
 
 +
Градиентные методы оптимизации гиперпараметров моделей глубокого обучения // ММРО-2017
 +
 
 +
Детектирование переводных заимствований в текстах научных статей из журналов, входящих в РИНЦ // ММРО-2017

Текущая версия

Бахтеев Олег Юрьевич
МФТИ, ФУПМ
Кафедра «Интеллектуальные системы»
Направление «Интеллектуальный анализ данных»
bakhteev@phystech.edu


Содержание

Весна 2014, 8 семестр

Восстановление панельной матрицы и ранжирующей модели по метризованной выборке в разнородных шкалах
Работа посвящена восстановлению ежегодных изменений рейтингов студентов при собеседовании в учебный центр. Рассматривается выборка, состоящая з экспертных оценок студентов, проходивших собеседование в учебный центр в течение нескольких лет и итоговых рейтингов студентов. Шкалы экспертных оценок меняются из года в год, но шкала рейтингов остается неизменной. Требуется восстановить ранжирующую модель, не зависящую от времени. Задача сводится к восстановлению панельной матрицы (то есть матрицы объект–признак–год), ставящей во взаимное соответствие некоторого студента (или усредненный “портрет” студента) и его предполагаемую оценку на собеседованиях за каждый год, и исследованию ранжирующей модели, полученной на основе этой матрицы, а так же анализу ее устойчивости на протяжении нескольких лет. Предлагается метод восстановления панельной матрицы, основанный на решении многомерной задачи о назначениях. В качестве метода восстановления ранжирующей модели используется алгоритм многоклассовой классификации с отношением полного порядка на классах и алгоритм ранжирования, основанный на методе опорных векторов.
Публикация
Бахтеев О. Ю. Восстановление панельной матрицы и ранжирующей модели по метризованной выборке в разнородных шкалах // Машинное обучение и анализ данных, 2015. T. 1. № 14. C. 1939-1960. [1]

Доклад на конференции
57-ая конференция МФТИ: доклад "Восстановление панельной матрицы и ранжирующей модели в разнородных шкалах"

Осень 2014, 9 семестр

Восстановление пропущенных значений в разнородных шкалах с большим числом пропусков
Рассматривается задача восстановления пропущенных значений в выборках, содер- жащих значительное число пропусков. Вводится понятие устойчивости восстановления пропуска, а также исследуется возможность применимости подхода для восстановления пропущенных значений. Исследуется случай, когда восстановление производится по k бли- жайшим соседям. Рассматриваются теоретические аспекты применимости данного под- хода для сильно разреженных данных. Рассматривается вариант восстановления пропу- щенных значений с использованием восстановленных значений в качестве источника для восстановления других элементов.


Публикация
Бахтеев О.И. Восстановление пропущенных значений в разнородных шкалах с большим числом пропусков // Машинное обучение и анализ данных. 2015. T. 1, №11. C. 1484 - 1499. PDF

Осень 2015, 11 семестр

Системы и средства глубокого обучения в задачах классификации
В работе рассматривается задача классификации временных рядов, т.е. упорядоченных по времени измерений некоторой величины. Рассматривается алгоритм классификации, основанный на искусственных нейросетях глубокого обучения, где под глубоким обучением понимается суперпозиция моделей. В качестве исследуемой структуры сети рассматривается композиция ограниченной машины Больцмана, автокодировщика и softmax-сети. Исследуется возможность обучения нейронной сети на процессоре графического ускорителя. Проводится анализ зависимости ошибки классификации от количества параметров и размера обучающей выборки.


Публикация
Бахтеев О.Ю., Попова М.С., Стрижов В.В. Системы и средства глубокого обучения в задачах классификации // Системы и средства информатики, 2016, 26(2) : 4-22. PDF


Осень 2016

Доклады на конференциях
Выбор модели глубокого обучения субоптимальной сложности с использованием вариационной оценки правдоподобия // Интеллектуализация обработки информации ИОИ-2016. link

Весна 2017

Выбор моделей глубокого обучения субоптимальной сложности

В работе рассматривается задача построения моделей глубокого обучения субоптимальной сложности. Под сложностью модели понимается минимальная длина описания совокупности данных и модели классификации или регрессии. Вводятся статистические предположения о распределении параметров. На основе данных предположений предлагается оптимизируемый функция правдоподобия модели. Для выбора оптимальной модели предлагаются вариационные методы оценки правдодобия модели для получения вариационной оценки рассматривается ряд методов, основанных на градиентных алгоритмах оптимизации. Проводится вычислительный эксперимент на выборке рукпописных цифр.

Бахтеев О. Ю., Стрижов В. В. Выбор моделей глубокого обучения субоптимальной сложности // Автоматика и Телемеханика, 2018

Осень 2017

Оптимизация гиперпараметров моделей глубокого обучения градиентными методами

Решается задача оптимизации гиперпараметров модели глубокого обучения. Для оптимизации гиперпараметров модели предлагаются алгоритмы, основанные на градиентном спуске. Так как сложность рассматриваемых алгоритмах сопоставима со сложностью оптимизации параметров модели, предлагается проводить оптимизацию параметров и гиперпараметров в единой процедуре. Для выбора адекватных значений гиперпараметров вводятся вероятностные предположения о распределении параметров. В качестве оптимизируемой функции выступает байесовское правдоподобие модели и кросс-валидация. Для получения оценки правдоподобия используются вариационные методы. Проводится вычислительный эксперимент на нескольких выборках.

O. Y. Bakhteev, V. V. Strijov. Comprehensive analysis of gradient-based hyperparameter optimization algorithms // New Generation Computing (in review).

Доклады на конференциях

Градиентные методы оптимизации гиперпараметров моделей глубокого обучения // ММРО-2017

Детектирование переводных заимствований в текстах научных статей из журналов, входящих в РИНЦ // ММРО-2017

Личные инструменты