Искусственная нейронная сеть
Материал из MachineLearning.
(Главы) |
(Суть метода) |
||
Строка 20: | Строка 20: | ||
* 1986 год — Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа) переоткрыт и существенно развит метод обратного распространения ошибки. Начался взрыв интереса к обучаемым нейронным сетям. | * 1986 год — Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа) переоткрыт и существенно развит метод обратного распространения ошибки. Начался взрыв интереса к обучаемым нейронным сетям. | ||
- | == | + | == Суть метода == |
- | === Понятие Нейрона. Модель МакКаллока–Питтса | + | Как и линейные методы классификации и регрессии, по сути нейронные сети выдают ответ вида: |
+ | <tex>y(\bf{x}, \bf{w}) =f\bigl( \sum_{j = 1}^N w_j \phi_j(\bf{x})\bigr) </tex>, где <tex>f</tex> — нелинейная функция активации, | ||
+ | <tex>\bf{w}</tex> — вектор весов, <tex>\bf{\phi}</tex> — нелинейные базисные функции. Обучение нейронных сетей состоит в настройке весов а также базисных функций. | ||
+ | == Понятие Нейрона. Модель МакКаллока–Питтса == | ||
{{Main|Модель МакКаллока-Питтса}} | {{Main|Модель МакКаллока-Питтса}} | ||
- | + | == Персептрон == | |
{{Main|Персептрон}} | {{Main|Персептрон}} | ||
- | + | === Персептрон Розенблатта === | |
- | === Однослойные нейронные сети | + | {{Main|Персептрон Розенблатта}} |
+ | == Однослойные нейронные сети == | ||
{{Main|Однослойные нейронные сети}} | {{Main|Однослойные нейронные сети}} | ||
- | + | == Многослойные нейронные сети == | |
{{Main|Многослойные нейронные сети}} | {{Main|Многослойные нейронные сети}} | ||
- | + | == Сети Кохонена == | |
{{Main|Нейронная сеть Кохонена}} | {{Main|Нейронная сеть Кохонена}} | ||
=== Самоорганизующиеся карты Кохонена === | === Самоорганизующиеся карты Кохонена === | ||
{{Main|Самоорганизующиеся карты Кохонена}} | {{Main|Самоорганизующиеся карты Кохонена}} | ||
== Проблемы метода == | == Проблемы метода == | ||
- | + | === Регуляризация в нейронных сетях === | |
== Пример == | == Пример == | ||
Версия 23:34, 7 января 2010
Иску́сственные нейро́нная се́ть (artificial neural network, ANN), или просто нейронная сеть — это математическая модель, а также ее программные или аппаратные реализации, построенная в некотором смысле по образу и подобию сетей нервных клеток живого организма.
Нейронные сети — один из наиболее известных и старых методов машинного обучения.
Содержание |
История метода
Идея метода сформировалась в процессе изучения работы мозга живых существ. Но нужно помнить, что ИНС гораздо проще своих прототипов, биологических нейронных сетей, до конца не изученных до сих пор.
Хронология
- 1943 год — Норберт Винер вместе с соратниками публикует работу о кибернетике. Основной идеей является представление сложных биологических процессов математическими моделями.
- 1943 год — Маккалок и Питтс формализуют понятие нейронной сети в фундаментальной статье о логическом исчислении идей и нервной активности.
- 1949 год — Хебб предлагает первый алгоритм обучения.
- В 1958 году Розенблаттом изобретен перцептрон. Перцептрон обретает популярность — его используют для распознавания образов, прогнозирования погоды и т. д. Казалось, что построение полноценного искусственного интеллекта уже не за горами.
- В 1960 году Уидроу совместно со своим студентом Хоффом на основе дельта-правила (формулы Уидроу) разработали ADALINE, который сразу начал использоваться для задач предсказания и адаптивного управления.. Сейчас Адалин (адаптивный сумматор) является стандартным элементом многих систем обработки сигналов.
- В 1961 году под руководством М. М. Бонгарда разработана программа «Кора»: «…задача Коры — поиск разделяющего правила после того, как найдены операторы, дающие достаточно четкие (коротко кодируемые) характеристики объекта или его частей». Программа Кора нашла применение, в частности, для распознавания нефтеносных пластов.
- В 1969 году Минский публикует формальное доказательство ограниченности перцептрона и показывает, что он неспособен решать некоторые задачи, связанные с инвариантностью представлений. Интерес к нейронным сетям резко спадает.
- 1974 год — Пол Дж. Вербос, и А. И. Галушкин одновременно изобретают алгоритм обратного распространения ошибки для обучения многослойных перцептронов. Изобретение не привлекло особого внимания.
- 1975 год — Фукушима представляет Когнитрон — самоорганизующуюся сеть, предназначенную для инвариантного распознавания образов, но это достигается только при помощи запоминания практически всех состояний образа.
- 1982 год — после длительного упадка, интерес к нейросетям вновь возрастает. Хопфилд показал, что нейронная сеть с обратными связями может представлять собой систему, минимизирующую энергию (так называемая сеть Хопфилда). Кохоненом представлены модели сети, обучающейся без учителя (Нейронная сеть Кохонена), решающей задачи кластеризации, визуализации данных (самоорганизующаяся карта Кохонена) и другие задачи предварительного анализа данных.
- 1986 год — Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа) переоткрыт и существенно развит метод обратного распространения ошибки. Начался взрыв интереса к обучаемым нейронным сетям.
Суть метода
Как и линейные методы классификации и регрессии, по сути нейронные сети выдают ответ вида: , где — нелинейная функция активации, — вектор весов, — нелинейные базисные функции. Обучение нейронных сетей состоит в настройке весов а также базисных функций.
Понятие Нейрона. Модель МакКаллока–Питтса
Персептрон
Персептрон Розенблатта
Однослойные нейронные сети
Многослойные нейронные сети
Сети Кохонена
Самоорганизующиеся карты Кохонена
Проблемы метода
Регуляризация в нейронных сетях
Пример
Литература
- Машинное обучение (курс лекций, К.В.Воронцов)
- C. Минский, М. Пейперт — Персептроны, Москва, «Мир», 1971.
Ссылки
См. также
Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |