Искусственная нейронная сеть
Материал из MachineLearning.
(5 промежуточных версий не показаны.) | |||
Строка 1: | Строка 1: | ||
- | '''Иску́сственные нейро́нная се́ть (artificial neural network, ANN)''', или просто нейронная сеть — это математическая модель, а также ее программные или аппаратные реализации, построенная в некотором смысле по образу и подобию сетей нервных клеток живого организма | + | '''Иску́сственные нейро́нная се́ть (artificial neural network, ANN)''', или просто нейронная сеть — это математическая модель, а также ее программные или аппаратные реализации, построенная в некотором смысле по образу и подобию сетей нервных клеток живого организма. |
- | Нейронные сети — один из наиболее известных и старых методов машинного обучения | + | Нейронные сети — один из наиболее известных и старых методов машинного обучения. |
== История метода == | == История метода == | ||
Идея метода сформировалась в процессе изучения работы мозга живых существ. Но нужно помнить, что ИНС гораздо проще своих прототипов, биологических нейронных сетей, до конца не изученных до сих пор. | Идея метода сформировалась в процессе изучения работы мозга живых существ. Но нужно помнить, что ИНС гораздо проще своих прототипов, биологических нейронных сетей, до конца не изученных до сих пор. | ||
+ | |||
=== Хронология === | === Хронология === | ||
+ | * 1943 год — [[Винер, Норберт|Норберт Винер]] вместе с соратниками публикует работу о кибернетике. Основной идеей является представление сложных биологических процессов математическими моделями. | ||
+ | * 1943 год — [[Маккалок, Уоррен|Маккалок]] и [[Питтс, Уолтер|Питтс]] формализуют понятие нейронной сети в фундаментальной статье о логическом исчислении идей и нервной активности. | ||
+ | * 1949 год — [[Хебб, Дональд|Хебб]] предлагает первый алгоритм обучения. | ||
+ | * В 1958 году [[Розенблатт, Фрэнк|Розенблаттом]] изобретен [[перцептрон]]. Перцептрон обретает популярность — его используют для распознавания образов, прогнозирования погоды и т. д. Казалось, что построение полноценного [[искусственный интеллект|искусственного интеллекта]] уже не за горами. | ||
+ | * В 1960 году Уидроу совместно со своим студентом Хоффом на основе [[Дельта-правило|дельта-правила]] (''формулы Уидроу'') разработали ADALINE, который сразу начал использоваться для задач предсказания и адаптивного управления.. Сейчас Адалин (''адаптивный сумматор'') является стандартным элементом многих систем обработки сигналов. | ||
+ | * В 1961 году под руководством [[Бонгард, Михаил Моисеевич|М. М. Бонгарда]] разработана программа «Кора»: «…задача Коры — поиск разделяющего правила после того, как найдены операторы, дающие достаточно четкие (коротко кодируемые) характеристики объекта или его частей». Программа Кора нашла применение, в частности, для распознавания нефтеносных пластов. | ||
+ | * В 1969 году [[Минский, Марвин Ли|Минский]] публикует формальное доказательство ограниченности перцептрона и показывает, что он неспособен решать некоторые задачи, связанные с инвариантностью представлений. Интерес к нейронным сетям резко спадает. | ||
+ | * 1974 год — Пол Дж. Вербос, и А. И. Галушкин одновременно изобретают [[Метод обратного распространения ошибки|алгоритм обратного распространения ошибки]] для обучения [[многослойный перцептрон|многослойных перцептронов]]. Изобретение не привлекло особого внимания. | ||
+ | * 1975 год — Фукушима представляет [[Когнитрон]] — самоорганизующуюся сеть, предназначенную для инвариантного [[Распознавание образов|распознавания образов]], но это достигается только при помощи запоминания практически всех состояний образа. | ||
+ | * 1982 год — после длительного упадка, интерес к нейросетям вновь возрастает. [[Хопфилд, Джон|Хопфилд]] показал, что нейронная сеть с обратными связями может представлять собой систему, минимизирующую энергию (так называемая [[нейронная сеть Хопфилда|сеть Хопфилда]]). Кохоненом представлены модели сети, обучающейся без учителя ([[Нейронная сеть Кохонена]]), решающей задачи [[Кластеризация|кластеризации]], визуализации данных ([[самоорганизующаяся карта Кохонена]]) и другие задачи предварительного анализа данных. | ||
+ | * 1986 год — Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа) переоткрыт и существенно развит метод обратного распространения ошибки. Начался взрыв интереса к обучаемым нейронным сетям. | ||
- | + | == Суть метода == | |
- | + | Как и линейные методы классификации и регрессии, по сути нейронные сети выдают ответ вида: | |
- | == | + | <tex>y(\bf{x}, \bf{w}) =f\bigl( \sum_{j = 1}^N w_j \phi_j(\bf{x})\bigr) </tex>, где <tex>f</tex> — нелинейная функция активации, |
- | === | + | <tex>\bf{w}</tex> — вектор весов, <tex>\bf{\phi}</tex> — нелинейные базисные функции. Обучение нейронных сетей состоит в настройке весов а также базисных функций. |
+ | == Понятие нейрона. Модель МакКаллока–Питтса == | ||
+ | {{Main|Модель МакКаллока-Питтса}} | ||
+ | == Персептрон == | ||
{{Main|Персептрон}} | {{Main|Персептрон}} | ||
- | === | + | === Обучение нейронных сетей. Метод стохастического градиента === |
- | === | + | === Персептрон Розенблатта === |
- | === Сети Кохонена | + | {{Main|Персептрон Розенблатта}} |
+ | == Однослойные нейронные сети == | ||
+ | {{Main|Однослойные нейронные сети}} | ||
+ | == Многослойные нейронные сети == | ||
+ | {{Main|Многослойные нейронные сети}} | ||
+ | == Сети Кохонена == | ||
{{Main|Нейронная сеть Кохонена}} | {{Main|Нейронная сеть Кохонена}} | ||
+ | === Самоорганизующиеся карты Кохонена === | ||
+ | {{Main|Самоорганизующиеся карты Кохонена}} | ||
== Проблемы метода == | == Проблемы метода == | ||
+ | === Регуляризация в нейронных сетях === | ||
== Пример == | == Пример == | ||
+ | |||
== Литература == | == Литература == | ||
# [[Машинное обучение (курс лекций, К.В.Воронцов)]] | # [[Машинное обучение (курс лекций, К.В.Воронцов)]] | ||
- | # C. Минский, М. Пейперт — Персептроны, Москва, | + | # C. Минский, М. Пейперт — Персептроны, Москва, «Мир», 1971. |
== Ссылки == | == Ссылки == | ||
Строка 33: | Строка 57: | ||
[[Категория:Энциклопедия анализа данных]] | [[Категория:Энциклопедия анализа данных]] | ||
- | [[Категория: | + | [[Категория:Популярные и обзорные статьи]] |
[[Категория:Нейронные сети]] | [[Категория:Нейронные сети]] | ||
[[Категория:Незавершённые статьи]] | [[Категория:Незавершённые статьи]] |
Текущая версия
Иску́сственные нейро́нная се́ть (artificial neural network, ANN), или просто нейронная сеть — это математическая модель, а также ее программные или аппаратные реализации, построенная в некотором смысле по образу и подобию сетей нервных клеток живого организма.
Нейронные сети — один из наиболее известных и старых методов машинного обучения.
Содержание |
История метода
Идея метода сформировалась в процессе изучения работы мозга живых существ. Но нужно помнить, что ИНС гораздо проще своих прототипов, биологических нейронных сетей, до конца не изученных до сих пор.
Хронология
- 1943 год — Норберт Винер вместе с соратниками публикует работу о кибернетике. Основной идеей является представление сложных биологических процессов математическими моделями.
- 1943 год — Маккалок и Питтс формализуют понятие нейронной сети в фундаментальной статье о логическом исчислении идей и нервной активности.
- 1949 год — Хебб предлагает первый алгоритм обучения.
- В 1958 году Розенблаттом изобретен перцептрон. Перцептрон обретает популярность — его используют для распознавания образов, прогнозирования погоды и т. д. Казалось, что построение полноценного искусственного интеллекта уже не за горами.
- В 1960 году Уидроу совместно со своим студентом Хоффом на основе дельта-правила (формулы Уидроу) разработали ADALINE, который сразу начал использоваться для задач предсказания и адаптивного управления.. Сейчас Адалин (адаптивный сумматор) является стандартным элементом многих систем обработки сигналов.
- В 1961 году под руководством М. М. Бонгарда разработана программа «Кора»: «…задача Коры — поиск разделяющего правила после того, как найдены операторы, дающие достаточно четкие (коротко кодируемые) характеристики объекта или его частей». Программа Кора нашла применение, в частности, для распознавания нефтеносных пластов.
- В 1969 году Минский публикует формальное доказательство ограниченности перцептрона и показывает, что он неспособен решать некоторые задачи, связанные с инвариантностью представлений. Интерес к нейронным сетям резко спадает.
- 1974 год — Пол Дж. Вербос, и А. И. Галушкин одновременно изобретают алгоритм обратного распространения ошибки для обучения многослойных перцептронов. Изобретение не привлекло особого внимания.
- 1975 год — Фукушима представляет Когнитрон — самоорганизующуюся сеть, предназначенную для инвариантного распознавания образов, но это достигается только при помощи запоминания практически всех состояний образа.
- 1982 год — после длительного упадка, интерес к нейросетям вновь возрастает. Хопфилд показал, что нейронная сеть с обратными связями может представлять собой систему, минимизирующую энергию (так называемая сеть Хопфилда). Кохоненом представлены модели сети, обучающейся без учителя (Нейронная сеть Кохонена), решающей задачи кластеризации, визуализации данных (самоорганизующаяся карта Кохонена) и другие задачи предварительного анализа данных.
- 1986 год — Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа) переоткрыт и существенно развит метод обратного распространения ошибки. Начался взрыв интереса к обучаемым нейронным сетям.
Суть метода
Как и линейные методы классификации и регрессии, по сути нейронные сети выдают ответ вида: , где — нелинейная функция активации, — вектор весов, — нелинейные базисные функции. Обучение нейронных сетей состоит в настройке весов а также базисных функций.
Понятие нейрона. Модель МакКаллока–Питтса
Персептрон
Обучение нейронных сетей. Метод стохастического градиента
Персептрон Розенблатта
Однослойные нейронные сети
Многослойные нейронные сети
Сети Кохонена
Самоорганизующиеся карты Кохонена
Проблемы метода
Регуляризация в нейронных сетях
Пример
Литература
- Машинное обучение (курс лекций, К.В.Воронцов)
- C. Минский, М. Пейперт — Персептроны, Москва, «Мир», 1971.
Ссылки
См. также
Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |