Нейросеть

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Статья написана с использованием LLM DeepSeek-V4 Preview и проверена участником @goodbye3215 16:35, 13 июля 2026 (MSD)

Искусственная нейронная сеть (часто — просто нейросеть) — это вычислительная структура, вдохновлённая биологическими нейронными сетями, которая состоит из множества взаимосвязанных искусственных нейронов и способна обучаться на данных, настраивая веса связей между ними. Нейросети являются основой современного глубокого обучения и лежат в основе таких прорывных технологий, как большие языковые модели, системы компьютерного зрения и генеративные модели.

В отличие от классических алгоритмов машинного обучения, требующих ручного конструирования признаков, нейросети автоматически извлекают иерархические представления из сырых данных, что делает их универсальным инструментом для широкого спектра задач — от распознавания образов до генерации текста и предсказания структуры белков.

Содержание

1 Определение и ключевые понятия
2 Краткая история
3 Основные архитектуры нейросетей
4 Обучение нейросетей
5 Применение нейросетей
6 Современные тенденции и открытые проблемы
7 См. также
8 Литература

Определение и ключевые понятия

В основе любой нейросети лежит Нейрон — математическая абстракция, которая принимает на вход несколько сигналов, суммирует их с весовыми коэффициентами, применяет функцию активации и выдаёт результат. Формально выход нейрона можно записать как:

$y = f\left(\sum_{i=1}^n w_i x_i + b\right)$

где $x_i$ — входные сигналы, $w_i$ — веса, $b$ — смещение (bias), а $f$ — нелинейная функция активации (например, ReLU, сигмоида или tanh).

Нейроны организованы в слои: входной слой принимает данные, один или несколько скрытых слоёв выполняют преобразования, а выходной слой выдаёт результат. Глубина сети (количество скрытых слоёв) — ключевой фактор, отличающий глубокое обучение от мелкого: именно многослойность позволяет сетям выявлять сложные, иерархические закономерности в данных.

Краткая история

История нейросетей насчитывает более восьми десятилетий и включает несколько периодов подъёмов и спадов, известных как «зимы ИИ».

1943 год — Уоррен Мак-Каллок и Уолтер Питтс предложили первую математическую модель искусственного нейрона, показав, что простые нейроноподобные элементы могут вычислять любые логические функции.
1958 год — Фрэнк Розенблатт создал перцептрон — первую практическую нейросеть, способную обучаться. Он построил нейрокомпьютер «Марк-1», который мог различать буквы алфавита.
1969 год — Марвин Минский и Сеймур Паперт в книге «Персептроны» математически доказали фундаментальные ограничения однослойных перцептронов, что привело к первой «зиме ИИ» и свёртыванию исследований в этой области.
1974 год — Пол Вербос впервые описал алгоритм обратного распространения ошибки в своей диссертации, но работа осталась незамеченной.
1986 год — Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс переоткрыли и популяризировали метод обратного распространения, позволив эффективно обучать многослойные сети. Это положило начало второй волне интереса к нейросетям.
2006 год — Джеффри Хинтон ввёл термин «глубокое обучение» и показал, что глубокие сети можно эффективно предобучать послойно.
2012 год — Сеть AlexNet одержала убедительную победу в конкурсе ImageNet, продемонстрировав, что глубокие свёрточные сети, обученные на GPU, кардинально превосходят все предыдущие подходы в компьютерном зрении. Этот момент считается началом эры глубокого обучения.
2017 год — Архитектура трансформера была предложена в статье «Attention Is All You Need». Механизм самовнимания позволил эффективно обрабатывать длинные последовательности и стал основой для всех современных больших языковых моделей.
2020-е годы — появление GPT-3, ChatGPT, GPT-4 и других LLM, а также моделей для генерации изображений (DALL-E, Midjourney, Stable Diffusion) и предсказания структуры белков (AlphaFold) ознаменовало выход нейросетей на уровень, сопоставимый или превосходящий человеческий во многих интеллектуальных задачах.

Основные архитектуры нейросетей

Современные нейросети можно классифицировать по множеству признаков. Наиболее важные архитектурные семейства включают:

Многослойный персептрон (MLP)

MLP — простейшая и фундаментальная архитектура, состоящая из последовательности полносвязных слоёв. Каждый нейрон в слое соединён со всеми нейронами предыдущего слоя. MLP лежат в основе многих более сложных архитектур и остаются востребованными для задач с табличными данными и небольших датасетов.

Свёрточные нейронные сети (CNN)

Свёрточные сети используют операцию свёртки для эффективного извлечения пространственных признаков. Они стали стандартом для задач компьютерного зрения: классификации изображений, обнаружения объектов, сегментации. Ключевые инновации — ResNet с остаточными связями, позволившими обучать сети глубиной в сотни слоёв, а также Inception, DenseNet и Xception.

Рекуррентные нейронные сети (RNN) и LSTM

Рекуррентные сети предназначены для обработки последовательных данных (текст, временные ряды, речь). Они имеют внутреннюю память, позволяющую учитывать предыдущие состояния. LSTM (Long Short-Term Memory) и GRU (Gated Recurrent Unit) — усовершенствованные варианты, решающие проблему затухающих градиентов и позволяющие запоминать информацию на больших интервалах.

Трансформеры

Трансформеры произвели революцию в обработке естественного языка. Вместо рекуррентной обработки они используют механизм самовнимания, который позволяет каждому токену взаимодействовать со всеми остальными токенами последовательности параллельно. Это даёт два ключевых преимущества:

Параллелизация — обучение значительно быстрее, чем у RNN.
Дальние зависимости — модель легко улавливает связи между удалёнными элементами последовательности.

Трансформеры лежат в основе всех современных LLM: GPT, Claude, Gemini, Llama, DeepSeek. Однако их главный недостаток — квадратичная вычислительная сложность $O(N^2)$ относительно длины последовательности.

Пост-трансформерные архитектуры

К 2025–2026 годам стали активно развиваться альтернативы трансформерам, призванные преодолеть их масштабные ограничения. Основные направления:

Модели пространства состояний (SSM) — например, Mamba и RWKV, которые имеют линейную сложность $O(N)$ и обеспечивают до 3.2× ускорение при 45% снижении потребления памяти по сравнению с трансформерами при сравнимом качестве.
Гибридные архитектуры — сочетают слои SSM и трансформера, добиваясь оптимального баланса между эффективностью и выразительностью.
Модели с линейным вниманием — модификации механизма внимания, снижающие сложность до линейной.

Другие важные архитектуры

Генеративно-состязательные сети (GAN) — две сети (генератор и дискриминатор) соревнуются друг с другом, что позволяет генерировать реалистичные изображения, видео и другие данные.
Автокодировщики — сети, которые учатся сжимать данные в скрытое представление и восстанавливать их, используются для сжатия, шумоподавления и генерации.
Графовые нейронные сети (GNN) — работают с данными, представленными в виде графов (социальные сети, молекулы, транспортные сети).
Сети Колмогорова-Арнольда (KAN) — альтернативный подход к аппроксимации функций, набирающий популярность в научных приложениях.

Обучение нейросетей

Обучение нейросети — это процесс настройки весов таким образом, чтобы минимизировать ошибку на обучающих данных. Центральную роль здесь играет алгоритм обратного распространения ошибки (backpropagation).

Процесс обучения включает следующие шаги:

Прямой проход (forward pass): данные подаются на вход, проходят через все слои сети, и на выходе получается предсказание.
Вычисление ошибки: предсказание сравнивается с истинным значением с помощью функции потерь (например, среднеквадратичной ошибки или кросс-энтропии).
Обратный проход (backward pass): ошибка распространяется от выходного слоя к входному. Используя цепное правило дифференцирования, вычисляются градиенты функции потерь по каждому весу.
Обновление весов: веса корректируются в направлении, противоположном градиенту, с помощью градиентного спуска или его более продвинутых вариантов (Adam, RMSprop).

Итеративное повторение этих шагов на больших объёмах данных позволяет сети постепенно уменьшать ошибку и обобщать закономерности.

Применение нейросетей

Сегодня нейросети применяются практически во всех областях науки, техники и бизнеса:

Компьютерное зрение: распознавание и классификация изображений, обнаружение объектов, сегментация, генерация изображений, анализ медицинских снимков.
Обработка естественного языка: машинный перевод, суммаризация текста, ответы на вопросы, генерация текста, анализ тональности, диалоговые системы.
Временные ряды и прогнозирование: предсказание цен, погоды, спроса, анализ финансовых данных.
Биоинформатика и медицина: предсказание структуры белков (AlphaFold), поиск лекарств, диагностика заболеваний.
Робототехника и управление: автономные автомобили, управление дронами, планирование движений.
Генерация контента: создание изображений, музыки, видео, кода, текстов.
Автоматизация разработки: анализ кода, поиск ошибок, автоматизация CI/CD.

Современные тенденции и открытые проблемы

Несмотря на впечатляющие успехи, развитие нейросетей сталкивается с рядом вызовов:

Масштабирование и эффективность: поиск архитектур, которые обеспечивают высокое качество при меньших вычислительных затратах — ключевое направление исследований.
Интерпретируемость: нейросети остаются «чёрными ящиками»; понимание того, почему модель приняла то или иное решение, критически важно для медицины, финансов и права.
Обобщающая способность: способность модели работать на данных, отличающихся от обучающих.
Галлюцинации: склонность генеративных моделей выдавать правдоподобную, но фактически неверную информацию.
Этика и безопасность: предвзятость моделей, использование для создания дезинформации, вопросы приватности.
Аппаратные ограничения: обучение и инференс моделей с сотнями миллиардов параметров требуют огромных вычислительных ресурсов.

Среди наиболее перспективных направлений — гибридные архитектуры, сочетающие трансформеры с моделями пространства состояний, развитие Retrieval-Augmented Generation (RAG), мультимодальные модели, работающие с текстом, изображениями, аудио и видео одновременно, а также активное развитие открытых моделей (Llama, DeepSeek, Qwen), делающих передовые технологии доступными для широкого круга исследователей и разработчиков.

См. также

Литература

McCulloch W. S., Pitts W. A logical calculus of the ideas immanent in nervous activity // Bulletin of Mathematical Biophysics. — 1943. — Vol. 5. — P. 115–133.
Rosenblatt F. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain // Psychological Review. — 1958. — Vol. 65, No. 6. — P. 386–408.
Minsky M., Papert S. Perceptrons: An Introduction to Computational Geometry. — MIT Press, 1969.
Rumelhart D. E., Hinton G. E., Williams R. J. Learning representations by back-propagating errors // Nature. — 1986. — Vol. 323. — P. 533–536.
Krizhevsky A., Sutskever I., Hinton G. E. ImageNet Classification with Deep Convolutional Neural Networks // NeurIPS. — 2012.
Vaswani A. et al. Attention Is All You Need // NeurIPS. — 2017. — Vol. 30.
Brown T. B. et al. Language Models are Few-Shot Learners // NeurIPS. — 2020. — Vol. 33.
LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. — 2015. — Vol. 521. — P. 436–444.
Ivchenko O. Post-Transformer Architectures in 2025: Mamba, RWKV, and Hybrid Models in Production // Zenodo. — 2026.
A Comprehensive Survey of Deep Learning Models: From MLPs to LMMs // IEEE. — 2025.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D1%8C»

Категории: Нейронные сети | Глубокое обучение | Архитектуры нейронных сетей

@@ Строка 1: / Строка 1: @@
-==Нейросеть==
+{{well|Статья написана с использованием LLM '''DeepSeek-V4 Preview''' и проверена участником [[Участник:Stepan Suvorov|@goodbye3215]] 16:35, 13 июля 2026 (MSD)}}
-===Однослойная нейросеть===
+[[Категория:Нейронные сети]]
-Модель МакКаллока–Питтса. Пусть X - пространство объектов; Y - множество
+[[Категория:Глубокое обучение]]
-допустимых ответов; y∗ : X → Y  - целевая зависимость, известная только на объектах обучающей выборки <tex> X_l = (x_i, y_i)^l_{n=1}, y_i = y^*(x_i)</tex>. Требуется построить алгоритм a: X → Y , аппроксимирующий целевую зависимость y∗ на всём множестве X.
+[[Категория:Архитектуры нейронных сетей]]
-Будем предполагать, что объекты описываются n числовыми признаками
-<tex>f_j : X -> R, j = 1,\ldots, n</tex>. Вектор <tex>(f_1(x), . . . , f_n(x))\ge R</tex> называется признаковым описанием объекта x.
-====Модель МакКаллока и Питтса====
+'''Искусственная нейронная сеть''' (часто — просто '''нейросеть''') — это вычислительная структура, вдохновлённая биологическими нейронными сетями, которая состоит из множества взаимосвязанных [[Нейрон|искусственных нейронов]] и способна обучаться на данных, настраивая веса связей между ними. Нейросети являются основой современного [[Глубокое обучение|глубокого обучения]] и лежат в основе таких прорывных технологий, как [[Большая языковая модель|большие языковые модели]], системы [[Компьютерное зрение|компьютерного зрения]] и [[Генеративная модель|генеративные модели]].
-Алгоритм принимает на вход вектор <tex>x=(x^1,\dots,x^n)</tex>. Для простоты полагаем все признаки бинарными. Каждому нейрону соответствует вектор весов <tex>w=(w_1,w_2,\ldots,w_n)</tex>. вектор признаков скалярно перемножается с вектором весов. Если результат превышает 'порог активации', результат работы нейрона равен 1, иначе 0.
-Введем дополнительный константный признак <tex>x_0=-1</tex>
-<tex>a(x)=\phi(\sum^{n}_{j=0} w_j x^j)</tex>,где <tex>phi(z)=[z\ge 0]</tex>.
+В отличие от классических алгоритмов машинного обучения, требующих ручного конструирования признаков, нейросети автоматически извлекают иерархические представления из сырых данных, что делает их универсальным инструментом для широкого спектра задач — от распознавания образов до генерации текста и предсказания структуры белков.
- Модель МакКалока-Питтса эквивалентна линейному пороговому классификатору.
+__TOC__
-====Персептрон Розенблатта====
+== Определение и ключевые понятия ==
-Как и моделе МакКаллока-Питтса на вход подается вектор признаков x и мы имеем нейрон с вектором весов w.
-Идея обучения: Если <tex>a(x_i)=y_i</tex>, то вектор весов не изменяется. Если <tex>a(x_i)=0,  y_i=1</tex>, то вектор весов увеличивается, в случае наоборот - уменьшается.
-Так как пока рассматриваются бинарные признаки, то верна формула:
-<tex>w:=w-\eta(a(x_i)-y_i)x_i</tex>
+В основе любой нейросети лежит [[Нейрон]] — математическая абстракция, которая принимает на вход несколько сигналов, суммирует их с весовыми коэффициентами, применяет [[Функция активации|функцию активации]] и выдаёт результат. Формально выход нейрона можно записать как:
-===Многослойная нейросеть===
+<tex>y = f\left(\sum_{i=1}^n w_i x_i + b\right)</tex>
-{{STUB}}
-[[Категория:Машинное обучение]]
+где <tex>x_i</tex> — входные сигналы, <tex>w_i</tex> — веса, <tex>b</tex> — смещение (bias), а <tex>f</tex> — нелинейная функция активации (например, ReLU, сигмоида или tanh).
-[[Категория:Нейронные сети]]
+Нейроны организованы в слои: входной слой принимает данные, один или несколько скрытых слоёв выполняют преобразования, а выходной слой выдаёт результат. Глубина сети (количество скрытых слоёв) — ключевой фактор, отличающий глубокое обучение от мелкого: именно многослойность позволяет сетям выявлять сложные, иерархические закономерности в данных.
+== Краткая история ==
+История нейросетей насчитывает более восьми десятилетий и включает несколько периодов подъёмов и спадов, известных как «зимы ИИ».
+* '''1943 год''' — Уоррен Мак-Каллок и Уолтер Питтс предложили первую математическую модель искусственного нейрона, показав, что простые нейроноподобные элементы могут вычислять любые логические функции.
+* '''1958 год''' — Фрэнк Розенблатт создал [[Перцептрон|перцептрон]] — первую практическую нейросеть, способную обучаться. Он построил нейрокомпьютер «Марк-1», который мог различать буквы алфавита.
+* '''1969 год''' — Марвин Минский и Сеймур Паперт в книге «Персептроны» математически доказали фундаментальные ограничения однослойных перцептронов, что привело к первой «зиме ИИ» и свёртыванию исследований в этой области.
+* '''1974 год''' — Пол Вербос впервые описал алгоритм [[Обратное распространение ошибки|обратного распространения ошибки]] в своей диссертации, но работа осталась незамеченной.
+* '''1986 год''' — Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс переоткрыли и популяризировали метод обратного распространения, позволив эффективно обучать многослойные сети. Это положило начало второй волне интереса к нейросетям.
+* '''2006 год''' — Джеффри Хинтон ввёл термин «глубокое обучение» и показал, что глубокие сети можно эффективно предобучать послойно.
+* '''2012 год''' — Сеть [[AlexNet]] одержала убедительную победу в конкурсе ImageNet, продемонстрировав, что глубокие свёрточные сети, обученные на GPU, кардинально превосходят все предыдущие подходы в компьютерном зрении. Этот момент считается началом эры глубокого обучения.
+* '''2017 год''' — Архитектура [[Трансформер (модель)|трансформера]] была предложена в статье «Attention Is All You Need». Механизм самовнимания позволил эффективно обрабатывать длинные последовательности и стал основой для всех современных больших языковых моделей.
+* '''2020-е годы''' — появление GPT-3, ChatGPT, GPT-4 и других LLM, а также моделей для генерации изображений (DALL-E, Midjourney, Stable Diffusion) и предсказания структуры белков (AlphaFold) ознаменовало выход нейросетей на уровень, сопоставимый или превосходящий человеческий во многих интеллектуальных задачах.
+== Основные архитектуры нейросетей ==
+Современные нейросети можно классифицировать по множеству признаков. Наиболее важные архитектурные семейства включают:
+=== Многослойный персептрон (MLP) ===
+MLP — простейшая и фундаментальная архитектура, состоящая из последовательности полносвязных слоёв. Каждый нейрон в слое соединён со всеми нейронами предыдущего слоя. MLP лежат в основе многих более сложных архитектур и остаются востребованными для задач с табличными данными и небольших датасетов.
+=== Свёрточные нейронные сети (CNN) ===
+[[Свёрточная нейронная сеть|Свёрточные сети]] используют операцию свёртки для эффективного извлечения пространственных признаков. Они стали стандартом для задач компьютерного зрения: классификации изображений, обнаружения объектов, сегментации. Ключевые инновации — ResNet с остаточными связями, позволившими обучать сети глубиной в сотни слоёв, а также Inception, DenseNet и Xception.
+=== Рекуррентные нейронные сети (RNN) и LSTM ===
+[[Рекуррентная нейронная сеть|Рекуррентные сети]] предназначены для обработки последовательных данных (текст, временные ряды, речь). Они имеют внутреннюю память, позволяющую учитывать предыдущие состояния. LSTM (Long Short-Term Memory) и GRU (Gated Recurrent Unit) — усовершенствованные варианты, решающие проблему затухающих градиентов и позволяющие запоминать информацию на больших интервалах.
+=== Трансформеры ===
+[[Трансформер (модель)|Трансформеры]] произвели революцию в обработке естественного языка. Вместо рекуррентной обработки они используют механизм самовнимания, который позволяет каждому токену взаимодействовать со всеми остальными токенами последовательности параллельно. Это даёт два ключевых преимущества:
+# '''Параллелизация''' — обучение значительно быстрее, чем у RNN.
+# '''Дальние зависимости''' — модель легко улавливает связи между удалёнными элементами последовательности.
+Трансформеры лежат в основе всех современных LLM: GPT, Claude, Gemini, Llama, DeepSeek. Однако их главный недостаток — квадратичная вычислительная сложность <tex>O(N^2)</tex> относительно длины последовательности.
+=== Пост-трансформерные архитектуры ===
+К 2025–2026 годам стали активно развиваться альтернативы трансформерам, призванные преодолеть их масштабные ограничения. Основные направления:
+* '''Модели пространства состояний (SSM)''' — например, Mamba и RWKV, которые имеют линейную сложность <tex>O(N)</tex> и обеспечивают до 3.2× ускорение при 45% снижении потребления памяти по сравнению с трансформерами при сравнимом качестве.
+* '''Гибридные архитектуры''' — сочетают слои SSM и трансформера, добиваясь оптимального баланса между эффективностью и выразительностью.
+* '''Модели с линейным вниманием''' — модификации механизма внимания, снижающие сложность до линейной.
+=== Другие важные архитектуры ===
+* '''Генеративно-состязательные сети (GAN)''' — две сети (генератор и дискриминатор) соревнуются друг с другом, что позволяет генерировать реалистичные изображения, видео и другие данные.
+* '''Автокодировщики''' — сети, которые учатся сжимать данные в скрытое представление и восстанавливать их, используются для сжатия, шумоподавления и генерации.
+* '''Графовые нейронные сети (GNN)''' — работают с данными, представленными в виде графов (социальные сети, молекулы, транспортные сети).
+* '''Сети Колмогорова-Арнольда (KAN)''' — альтернативный подход к аппроксимации функций, набирающий популярность в научных приложениях.
+== Обучение нейросетей ==
+Обучение нейросети — это процесс настройки весов таким образом, чтобы минимизировать ошибку на обучающих данных. Центральную роль здесь играет алгоритм [[Обратное распространение ошибки|обратного распространения ошибки]] (backpropagation).
+Процесс обучения включает следующие шаги:
+# '''Прямой проход''' (forward pass): данные подаются на вход, проходят через все слои сети, и на выходе получается предсказание.
+# '''Вычисление ошибки''': предсказание сравнивается с истинным значением с помощью функции потерь (например, среднеквадратичной ошибки или кросс-энтропии).
+# '''Обратный проход''' (backward pass): ошибка распространяется от выходного слоя к входному. Используя цепное правило дифференцирования, вычисляются градиенты функции потерь по каждому весу.
+# '''Обновление весов''': веса корректируются в направлении, противоположном градиенту, с помощью градиентного спуска или его более продвинутых вариантов (Adam, RMSprop).
+Итеративное повторение этих шагов на больших объёмах данных позволяет сети постепенно уменьшать ошибку и обобщать закономерности.
+== Применение нейросетей ==
+Сегодня нейросети применяются практически во всех областях науки, техники и бизнеса:
+* '''Компьютерное зрение''': распознавание и классификация изображений, обнаружение объектов, сегментация, генерация изображений, анализ медицинских снимков.
+* '''Обработка естественного языка''': машинный перевод, суммаризация текста, ответы на вопросы, генерация текста, анализ тональности, диалоговые системы.
+* '''Временные ряды и прогнозирование''': предсказание цен, погоды, спроса, анализ финансовых данных.
+* '''Биоинформатика и медицина''': предсказание структуры белков (AlphaFold), поиск лекарств, диагностика заболеваний.
+* '''Робототехника и управление''': автономные автомобили, управление дронами, планирование движений.
+* '''Генерация контента''': создание изображений, музыки, видео, кода, текстов.
+* '''Автоматизация разработки''': анализ кода, поиск ошибок, автоматизация CI/CD.
+== Современные тенденции и открытые проблемы ==
+Несмотря на впечатляющие успехи, развитие нейросетей сталкивается с рядом вызовов:
+* '''Масштабирование и эффективность''': поиск архитектур, которые обеспечивают высокое качество при меньших вычислительных затратах — ключевое направление исследований.
+* '''Интерпретируемость''': нейросети остаются «чёрными ящиками»; понимание того, почему модель приняла то или иное решение, критически важно для медицины, финансов и права.
+* '''Обобщающая способность''': способность модели работать на данных, отличающихся от обучающих.
+* '''Галлюцинации''': склонность генеративных моделей выдавать правдоподобную, но фактически неверную информацию.
+* '''Этика и безопасность''': предвзятость моделей, использование для создания дезинформации, вопросы приватности.
+* '''Аппаратные ограничения''': обучение и инференс моделей с сотнями миллиардов параметров требуют огромных вычислительных ресурсов.
+Среди наиболее перспективных направлений — гибридные архитектуры, сочетающие трансформеры с моделями пространства состояний, развитие Retrieval-Augmented Generation (RAG), мультимодальные модели, работающие с текстом, изображениями, аудио и видео одновременно, а также активное развитие открытых моделей (Llama, DeepSeek, Qwen), делающих передовые технологии доступными для широкого круга исследователей и разработчиков.
+== См. также ==
+* [[Глубокое обучение]]
+* [[Нейрон]]
+* [[Обратное распространение ошибки]]
+* [[Трансформер (модель)]]
+* [[Большая языковая модель]]
+== Литература ==
+# McCulloch W. S., Pitts W. A logical calculus of the ideas immanent in nervous activity // Bulletin of Mathematical Biophysics. — 1943. — Vol. 5. — P. 115–133.
+# Rosenblatt F. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain // Psychological Review. — 1958. — Vol. 65, No. 6. — P. 386–408.
+# Minsky M., Papert S. Perceptrons: An Introduction to Computational Geometry. — MIT Press, 1969.
+# Rumelhart D. E., Hinton G. E., Williams R. J. Learning representations by back-propagating errors // Nature. — 1986. — Vol. 323. — P. 533–536.
+# Krizhevsky A., Sutskever I., Hinton G. E. ImageNet Classification with Deep Convolutional Neural Networks // NeurIPS. — 2012.
+# Vaswani A. et al. Attention Is All You Need // NeurIPS. — 2017. — Vol. 30.
+# Brown T. B. et al. Language Models are Few-Shot Learners // NeurIPS. — 2020. — Vol. 33.
+# LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. — 2015. — Vol. 521. — P. 436–444.
+# Ivchenko O. Post-Transformer Architectures in 2025: Mamba, RWKV, and Hybrid Models in Production // Zenodo. — 2026.
+# A Comprehensive Survey of Deep Learning Models: From MLPs to LMMs // IEEE. — 2025.