Публикация:Вапник 1979 Восстановление зависимостей

Материал из MachineLearning.

Перейти к: навигация, поиск

Вапник В. Н. Восстановление зависимостей по эмпирическим данным. — М.: Наука, 1979.

BibTeX:
 @book{vapnik79vosstanovlenie,
   author = "Вапник В. Н.",
   title = "Восстановление зависимостей по эмпирическим данным",
   publisher = "М.: Наука",
   year = "1979",
   language = russian
 }

Аннотация

Основополагающая монография по статистической теории восстановления зависимостей. Рассматриваются задачи классификации, восстановления регрессии и интерпретации результатов косвенных экспериментов. Вводятся понятия функции роста, энтропии и ёмкости системы событий. Выводятся оценки скорости равномерной сходимости частоты ошибок к их вероятности, позволяющие обосновать метод минимизации эмпирического риска. Эти оценки нетривиальны только в том случае, когда ёмкость семейства алгоритмов много меньше длины обучающей выборки. В доказательствах используется комбинаторная техника, основанная на оценивании разности частот в двух подвыборках одинаковой длины. Выводятся необходимые и достаточные условия равномерной сходимости частот появления событий к их вероятностям; доказывается, что частота сходится к вероятности равномерно по системе событий тогда и только тогда, когда доля энтропии, приходящейся на один элемент выборки, стремится к нулю с ростом длины выборки. Доказывается, что ёмкость семейства линейных решающих правил равна числу свободных параметров. Предлагается метод упорядоченной минимизации суммарного риска, предназначенный для выбора модели алгоритмов оптимальной сложности. Новый метод, в отличие от ранее предложенного метода структурной минимизации риска, оценивает качество восстановления зависимости в конечном множестве точек, а не на всем пространстве, поэтому обладает более высокой точностью. Описывается ряд алгоритмов распознавания образов, восстановления регрессии, селекции выборки.

Ссылки