Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{well|Статья написана с использованием LLM '''Gemini 3.1 Pro''' и проверена участником [[Участник:Osman_Osmanov|Osman Osmanov]] 15:11, 18 июля 2026 (MSD) Промпт приводится полностью в [[Обсуждение:Attention Is All You Need (2017)]] }} {{TOCright}} == Введение == '''Attention Is All You Need (2017)''' ''(рус. Внимание – это всё, что вам нужно)'' — научная статья в области глубокого обучения, опубликованная в 2017 году исследователями из Google Brain под руководством Ашиша Васвани<ref name="attention">{{статья |автор=Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A. N., Kaiser Ł., Polosukhin I. |заглавие=Attention Is All You Need |издание=Advances in Neural Information Processing Systems (NeurIPS) |год=2017 |том=30 |страницы=5998–6008}}</ref>. В работе представлена архитектура [[Нейронная сеть|нейронной сети]] — [[Трансформер (модель)|трансформер]] (transformer), — построенная исключительно на механизме [[Механизм внимания|самовнимания]] и не содержащая [[Рекуррентная нейронная сеть|рекуррентных]] или [[Свёрточная нейронная сеть|свёрточных]] слоёв. Основным техническим вкладом статьи является демонстрация того, что параллельная обработка последовательностей с помощью [[Механизм внимания|механизма внимания]] способна достигать более высокого качества и эффективности обучения, чем доминировавшие на тот момент архитектуры. Предложенная модель стала основой для создания современных [[Большая языковая модель|больших языковых моделей]]. == Предпосылки == До публикации статьи стандартом для задач обработки последовательностей являлись [[Рекуррентная нейронная сеть|рекуррентные нейронные сети]] (RNN), в частности [[LSTM]]<ref name="lstm">{{статья |автор=Hochreiter S., Schmidhuber J. |заглавие=Long Short-Term Memory |издание=Neural Computation |год=1997 |том=9 |номер=8 |страницы=1735–1780 |doi=10.1162/neco.1997.9.8.1735}}</ref> и [[GRU]]<ref name="gru">{{статья |автор=Cho K., van Merriënboer B., Gulcehre C. и др. |заглавие=Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation |издание=Empirical Methods in Natural Language Processing (EMNLP) |год=2014 |страницы=1724–1734 |doi=10.3115/v1/D14-1179}}</ref>. Их фундаментальное ограничение заключалось в последовательном характере вычислений: для получения скрытого состояния в позиции <tex>t</tex> требовалось завершить обработку всех предыдущих позиций <tex>1, \dots, t-1</tex>, что препятствовало эффективному распараллеливанию обучения на графических процессорах. В качестве альтернативы использовались [[Свёрточная нейронная сеть|свёрточные]] архитектуры (ByteNet<ref name="bytenet">{{статья |автор=Kalchbrenner N., Espeholt L., Simonyan K. и др. |заглавие=Neural Machine Translation in Linear Time |издание=arXiv preprint |год=2016 |doi=10.48550/arXiv.1610.10099}}</ref>, ConvS2S<ref name="convs2s">{{статья |автор=Gehring J., Auli M., Grangier D. и др. |заглавие=Convolutional Sequence to Sequence Learning |издание=International Conference on Machine Learning (ICML) |год=2017 |страницы=1243–1252}}</ref>), которые позволяли вычислять промежуточные представления параллельно, однако длина путей распространения сигналов между удалёнными позициями в них росла линейно или логарифмически, что ограничивало способность модели улавливать дальние зависимости. Авторы статьи предложили архитектуру<ref name="attention" />, в которой количество последовательных операций постоянно, а максимальная длина пути между любыми двумя позициями равна <tex>O(1)</tex>. [[Трансформер (модель)|Трансформер]] стал первой моделью переноса последовательностей (transduction model), вычисляющей представления входа и выхода исключительно на основе [[Механизм внимания|механизма самовнимания]], без использования [[Рекуррентная нейронная сеть|рекуррентных]] или [[Свёрточная нейронная сеть|свёрточных]] слоёв. == Архитектура == Предложенная архитектура [[Трансформер (модель)|Трансформера]] имеет [[Энкодер|энкодер]]-[[Декодер|декодер]] структуру. Оба компонента состоят из стека идентичных слоёв (по 6 в базовой и большой версиях). Каждый слой [[Энкодер|энкодера]] содержит два подуровня: Multi-Head Self-Attention и позиционно-полносвязную сеть (Position-wise Feed-Forward Network, FFN). [[Декодер|Декодер]] дополнительно включает третий подуровень — Multi-Head Attention над выходом [[Энкодер|энкодера]] (cross-attention). Вокруг каждого подуровня применена [[Остаточные связи|остаточная связь]] с последующей [[Layer Normalization|LayerNorm]] (Post-LN). В [[Декодер|декодере]] [[Механизм внимания|самовнимание]] маскировано так, что позиция <tex>t</tex> может опираться только на выходы до позиции <tex>t-1</tex>. === Внимание (Attention) === Базовым блоком является Scaled Dot-Product Attention, вычисляемый по формуле: ::<tex>\operatorname{Attention}(Q, K, V) = \operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V</tex> где <tex>Q, K, V</tex> — матрицы запросов, ключей и значений, полученные линейными проекциями входных векторов. Деление на <tex>\sqrt{d_k}</tex> (<tex>d_k</tex> — размерность ключей) необходимо для предотвращения насыщения [[Softmax|softmax]]: при больших <tex>d_k</tex> дисперсия скалярных произведений растёт, что приводит к концентрации весов на одном элементе и, как следствие, к [[Проблема исчезающего градиента|затуханию градиентов]]. Multi-Head Attention параллельно применяет <tex>h</tex> независимых [[Механизм внимания|механизмов внимания]] к низкоразмерным проекциям <tex>Q, K, V</tex> (размерность <tex>d_k = d_v = d_{\text{model}} / h</tex>). Выходы всех голов конкатенируются и линейно преобразуются: ::<tex>\operatorname{MultiHead}(Q, K, V) = \operatorname{Concat}(\operatorname{head}_1, \dots, \operatorname{head}_h) W^O</tex> где <tex>\operatorname{head}_i = \operatorname{Attention}(Q W_i^Q, K W_i^K, V W_i^V)</tex>. Это позволяет модели одновременно фокусироваться на различных типах связей. В полной архитектуре используются три варианта [[Механизм внимания|внимания]]: * Self-attention в [[Энкодер|энкодере]] — все позиции связаны со всеми; * Masked self-attention в [[Декодер|декодере]] — связь только с предыдущими позициями; * Cross-attention (encoder-decoder) — запросы из [[Декодер|декодера]], ключи и значения из [[Энкодер|энкодера]]. === Позиционное кодирование === Поскольку [[Механизм внимания|механизм внимания]] инвариантен к перестановкам, авторы ввели аддитивное позиционное кодирование на основе синусоидальных функций: ::<tex>PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i / d_{\text{model}}}}\right), \quad PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i / d_{\text{model}}}}\right)</tex> где <tex>pos</tex> — позиция, <tex>i</tex> — индекс размерности. Такой выбор позволяет модели экстраполировать на длины последовательностей, не встречавшиеся в обучении, и выражать относительные сдвиги. == Анализ вычислительной сложности (Why Self-Attention) == Авторы сравнили вычислительные характеристики различных архитектур<ref name="attention" />. Основные результаты сведены в таблицу: {| class="wikitable" |- ! Тип слоя !! Сложность на слой !! Минимальное число последовательных операций !! Максимальная длина пути |- | Self-Attention || <tex>O(n^2 \cdot d)</tex> || <tex>O(1)</tex> || <tex>O(1)</tex> |- | Recurrent (RNN/LSTM) || <tex>O(n \cdot d^2)</tex> || <tex>O(n)</tex> || <tex>O(n)</tex> |- | Convolutional (dilated) || <tex>O(k \cdot n \cdot d^2)</tex> || <tex>O(1)</tex> || <tex>O(\log_k n)</tex> |} Здесь <tex>n</tex> — длина последовательности, <tex>d</tex> — размерность представлений, <tex>k</tex> — размер ядра свёртки. Хотя self-attention обладает квадратичной сложностью по длине последовательности, постоянная длина путей (<tex>O(1)</tex>) означает, что информация от любой позиции до любой другой передаётся за один вычислительный шаг, что решает проблему дальних зависимостей, свойственную [[Рекуррентная нейронная сеть|рекуррентным]] сетям. == Обучение (Training) == Обучение проводилось на [[Выборка|датасетах]] WMT 2014: англо-немецкий (4.5 млн пар предложений) и англо-французский (36 млн пар). Аппаратная конфигурация: 8 GPU NVIDIA P100. Базовая модель обучалась 100 000 шагов (примерно 12 часов), большая — 300 000 шагов (примерно 3.5 дня). Оптимизатор — [[Adam]]<ref name="adam">{{статья |автор=Kingma D. P., Ba J. |заглавие=Adam: A Method for Stochastic Optimization |издание=International Conference on Learning Representations (ICLR) |год=2015 |doi=10.48550/arXiv.1412.6980}}</ref> с параметрами <tex>\beta_1 = 0.9, \beta_2 = 0.98, \epsilon = 10^{-9}</tex>. Скорость обучения изменялась по формуле: ::<tex>lrate = d_{\text{model}}^{-0.5} \cdot \min(\text{stepnum}^{-0.5}, \text{stepnum} \cdot \text{warmupsteps}^{-1.5})</tex> где <tex>\text{warmupsteps} = 4000</tex>. Применялась регуляризация: [[Dropout]]<ref name="dropout">{{статья |автор=Srivastava N., Hinton G., Krizhevsky A. и др. |заглавие=Dropout: A Simple Way to Prevent Neural Networks from Overfitting |издание=Journal of Machine Learning Research |год=2014 |том=15 |страницы=1929–1958}}</ref> с вероятностью 0.1 ко всем подуровням и позиционным эмбеддингам, а также label smoothing с коэффициентом <tex>\epsilon_{ls} = 0.1</tex><ref name="label_smoothing">{{статья |автор=Szegedy C., Vanhoucke V., Ioffe S. и др. |заглавие=Rethinking the Inception Architecture for Computer Vision |издание=IEEE Conference on Computer Vision and Pattern Recognition (CVPR) |год=2016 |страницы=2818–2826 |doi=10.1109/CVPR.2016.308}}</ref>. == Результаты (Results) == Качество оценивалось метрикой BLEU<ref name="attention" />. На англо-немецком переводе большая модель [[Трансформер (модель)|Трансформера]] достигла 28.4, превзойдя ансамбли лучших на тот момент систем. На англо-французском — 41.8 (после beam search с размером 4 и штрафом за длину <tex>\alpha = 0.6</tex>). Дополнительно модель была применена к задаче синтаксического анализа (constituency parsing) на корпусе Wall Street Journal (WSJ). Несмотря на отсутствие специфической настройки под данную задачу, модель показала результаты, сопоставимые со специализированными решениями, что подтвердило её способность к обобщению на другие типы задач. == Заключение и историческое влияние (Conclusion) == Авторы пришли к выводу, что [[Механизм внимания|механизм внимания]], полностью замещающий [[Рекуррентная нейронная сеть|рекуррентные]] и [[Свёрточная нейронная сеть|свёрточные]] слои, не только делает обучение более параллельным, но и приводит к высокому качеству в задачах seq2seq. В последующие годы архитектура [[Трансформер (модель)|Трансформера]] получила развитие: для повышения стабильности обучения индустрия перешла от схемы Post-LN к Pre-LN (нормализация до подуровня), абсолютное синусоидальное кодирование было вытеснено относительными методами (RoPE)<ref name="rope">{{статья |автор=Su J., Lu Y., Pan S. и др. |заглавие=RoFormer: Enhanced Transformer with Rotary Position Embedding |издание=Neurocomputing |год=2024 |том=568 |doi=10.1016/j.neucom.2023.127063}}</ref>. Идеи, заложенные в статье, дали начало трём основным направлениям: encoder-only модели ([[BERT]]<ref name="bert">{{статья |автор=Devlin J., Chang M.-W., Lee K., Toutanova K. |заглавие=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding |издание=Conference of the North American Chapter of the Association for Computational Linguistics (NAACL) |год=2019 |страницы=4171–4186 |doi=10.18653/v1/N19-1423}}</ref>), decoder-only генеративные модели ([[GPT]]<ref name="gpt">{{статья |автор=Radford A., Narasimhan K., Salimans T., Sutskever I. |заглавие=Improving Language Understanding by Generative Pre-Training |издание=OpenAI Blog |год=2018}}</ref>) и [[Визуально-языковые модели|визуальные трансформеры]] ([[Vision Transformer|ViT]]<ref name="vit">{{статья |автор=Dosovitskiy A., Beyer L., Kolesnikov A. и др. |заглавие=An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale |издание=International Conference on Learning Representations (ICLR) |год=2021}}</ref>). == См. также == * [[Механизм внимания]] * [[Трансформер (модель)]] * [[Рекуррентная нейронная сеть]] * [[Нейронная сеть]] == Ссылки == <references/> [[Категория:Машинное обучение]] [[Категория:Машинное обучение (публикации)]]

• Шаблон:Mbox
• Шаблон:TOCright
• Шаблон:Well
• Шаблон:Переводы
• Шаблон:Статья

Возврат к странице Attention Is All You Need (2017).