Математические методы распознавания образов (курс лекций, А.Е. Лепский, А.Г. Броневич)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: == '''Математические методы распознавания образов (курс лекций, А.Е. Лепский, А.Г. Броневич)''' == ---- '''Мате...)

Версия 14:16, 24 июля 2008

== Математические методы распознавания образов (курс лекций, А.Е. Лепский, А.Г. Броневич) ==


Математические методы распознавания образов — односеместровый курс лекций, читаемый студентам 4-го курса факультета естественно-научного и гуманитарного образования специальности 010200 “Прикладная математика и информатика” Таганрогского Технологического института Южного федерального университета. Основная цель курса — формирование, прежде всего, математических знаний и навыков по основным разделам теории распознавания образов, привитие навыков разработки детерминистских и стохастических систем распознавания, нейронных сетей, развитие интуиции студентов для лучшего понимания основных идей, лежащих за этими методами.

Авторы курса – А.Е. Лепский, А.Г. Броневич.

Лабораторные работы разработаны А.Е. Лепским, А.В. Гончаровым.

Содержание
1 Лекции
2 Лабораторные работы
3 Индивидуальные задания
4 Типовые задачи по курсу
5 Ссылки


[править] 1. Лекции

Оглавление
  Основные обозначения
  Предисловие
Часть I Детерминистский подход в теории распознавания образов
 1. Предмет распознавания образов
  1.1. Основные задачи теории распознавания образов
  1.2. Типы характеристик образов
  1.3. Типы систем распознавания
  1.4. Математическая постановка задач распознавания. Распознавание как некорректная задача
 2. Классификация с помощью решающих функций
  2.1. Понятие решающих функций
  2.2. Линейные решающие функции (ЛРФ)
  2.3. Общий подход к нахождению линейных решающих функций.  Алгоритм Хо-Кашьяпа
  2.4. Обобщенные решающие функции (ОРФ)
  2.5. Задача понижения размерности
   2.5.1. Метод главных компонент
   2.5.2. Линейный дискриминант Фишера
 3. Классификация с помощью функций расстояния
  3.1. Способы стандартизации признаков и векторов-образов
  3.2. Способы измерения расстояний между векторами признаков
  3.3. Способы определения расстояния между  вектором-образом и классом
 4. Разбиение класса на кластеры (обучающее векторное квантование)
  4.1. Постановка задачи кластеризации
  4.2. Алгоритм k-внутригрупповых средних (k-means)
  4.3. Алгоритмы расстановки центров кластеров
   4.3.1. Алгоритм простейшей расстановки центров кластеров
   4.3.2. Алгоритм, основанный на методе просеивания
   4.3.3. Алгоритм максиминного расстояния
  4.4. Алгоритм ИСОМАД (ISODATA)
 5. Метод (машина) опорных векторов
  5.1. Линейно разделимый случай
  5.2. Линейно неразделимый случай
 6. Нейронные сети и проблемы распознавания
  6.1. Понятие персептрона
   6.1.1. Алгоритм обучения персептрона
   6.1.2. Сходимость алгоритма персептрона
   6.1.3. Алгоритм обучения слоя персептронов разделению нескольких классов
  6.2. Идеология нейроинформатики
  6.3. Элементы нейронных сетей
  6.4. Архитектуры нейронных сетей
  6.5. Математические возможности нейронных сетей
  6.6. Базовые математические задачи, решаемые нейронными сетями
  6.7. Основные алгоритмы обучения нейронных сетей
   6.7.1. Алгоритмы обучения одного нейрона
    6.7.1.1. Алгоритм обучения Хебба
    6.7.1.2. Персептронный метод обучения
    6.7.1.3. Адаптивное обучение нейрона. Формула Уидроу
   6.7.2. Обучение многослойной НС методом обратного распространения ошибки
   6.7.3. Алгоритм и сеть Кохонена
   6.7.4. Сети ассоциативной памяти
    6.7.4.1. Алгоритм и сеть Хопфилда
    6.7.4.2. Алгоритм и сеть Хэмминга
 7. Метод потенциальных функций
Часть II Статистический подход в теории распознавания образов
 1. Вероятностные характеристики среды распознавания и основные задачи статистической теории распознавания образов
 2. Байесовский классификатор
  2.1. Постановка задачи байесовской классификации
  2.2. Простейший байесовский классификатор
  2.3. Отклонение величины средней ошибки неправильной  классификации от наименьшей при небайесовской классификации
  2.4. Обобщенный байесовский классификатор
 3. Минимаксный критерий классификации
 4. Критерий Неймана-Пирсона
 5. Критерии классификации в случае нормального распределения  признаков в каждом классе
  5.1. Критерии классификации в случае нормального одномерного  распределения признаков
   5.1.1. Байесовская классификация
   5.1.2. Минимаксный классификатор
   5.1.3. Классификатор Неймана-Пирсона
  5.2. Классификация в случае многомерного нормального  распределения признаков в классах
   5.2.1. Многомерное нормальное распределение
   5.2.2. Байесовский классификатор для нормального многомерного распределения признаков в классах
   5.2.3. Вероятности ошибки неправильной классификации в случае байесовского классификатора для нормального распределения признаков в классах
 6. Статистическое оценивание вероятностных характеристик
  6.1. Параметрическое оценивание вероятностного распределения
   6.1.1. Метод максимального правдоподобия
   6.1.2. Метод моментов
  6.2. Непараметрические методы оценивания
   6.2.1. Гистограммный метод оценивания
   6.2.2. Адаптивный гистограммный метод оценивания
   6.2.3. Методы локального оценивания
    6.2.3.1. Метод парзеновского окна
    6.2.3.2. Метод kN ближайших соседей
    6.2.3.3. Решающее правило, основанное на методе kN ближайших соседей
   6.2.4. Метод оценивания с помощью аппроксимации функции плотности
  Литература
  Приложение 1. Нахождения дискриминантной функции по прецедентам  методом потенциальных функций
  Приложение 2. Построение байесовского классификатора по выборке двумерных нормально распределенных векторов
  Приложение 3. Построение гистограмм функций плотности распределения
  Приложение 4. Построение байесовского классификатора по прецедентам

[Скачать курс лекций] (PDF)


[править] 2. Лабораторные работы

В качестве основной вычислительной среды для проведения лабораторных работ используется MatLab. Предлагаются к выполнению следующие лабораторные работы:

•определение минимального пространства признаков и построение линейных решающих функций;
•преобразование Хау;
•распознавание с помощью функций расстояния;
•алгоритмы кластеризации;
•машина опорных векторов;
•обучения однослойного персептрона;
•алгоритмы обучения Хопфилда и Хэмминга.

Задания к лабораторным работам включают реализации алгоритмов распознавания образов и/или экспериментальное сравнение таких алгоритмов между собой.

Методические указания к практическим и лабораторным занятиям [Скачать] (PDF)


[править] 3. Индивидуальные задания

В рамках курса предусмотрено выполнение индивидуальных заданий.

Примерные темы индивидуальных заданий:


[править] 4. Типовые задачи по курсу

[Скачать типовые задачи] (PDF)

[править] 5. Ссылки

Личные инструменты