GPT(Generative Pre-trained Transformer)

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Статья написана с использованием LLM DeepSeek-V4 и проверена участником Участник:Daniil Nedugov 19:23, 17 июля 2026 (MSD)

Промпт приводится полностью в Обсуждение:GPT(Generative Pre-trained Transformer)

Содержание

1 Архитектура
- 1.1 Механизм внимания
- 1.2 Позиционное кодирование
2 Обучение
- 2.1 1. Предобучение (Generative Pre-training)
- 2.2 2. Адаптация к задачам
3 История развития
4 Сравнение с другими архитектурами
5 См. также
6 Литература

Generative Pre-trained Transformer (сокр. GPT) — семейство больших языковых моделей (LLM), разработанных компанией OpenAI. Модели данного типа основаны на архитектуре трансформера и используют подход генеративного предобучения (generative pre-training): сначала модель обучается на больших объёмах неразмеченных текстовых данных, а затем может быть адаптирована для решения конкретных задач путём дообучения (fine-tuning) или с помощью подсказок (prompting) .

Ключевая особенность GPT заключается в авторегрессионном способе генерации: модель предсказывает следующий токен (слово или его часть) на основе предыдущего контекста. Это позволяет ей порождать связные и логически последовательные тексты, что и обусловило её широкое применение в чат-ботах, системах генерации контента и других областях .

Архитектура

Основой GPT служит архитектура трансформера, предложенная в работе «Attention Is All You Need» (Vaswani et al., 2017) . В отличие от рекуррентных нейронных сетей (RNN), трансформер обрабатывает всю входную последовательность одновременно, что значительно ускоряет обучение и позволяет лучше учитывать долгосрочные зависимости в тексте .

В чистом виде GPT представляет собой декодерный вариант трансформера . Это означает, что в его состав входит только стек декодеров, но отсутствует кодировщик. Каждый такой декодерный блок содержит:

Механизм маскированного само-внимания (Masked Self-Attention), который позволяет модели «видеть» только предыдущие токены, сохраняя тем самым авторегрессионное свойство .
Полносвязную сеть (Feed-Forward Network), которая независимо преобразует представления каждого токена.

Выходные данные последнего блока подаются на линейный слой и слой Softmax, который вычисляет вероятность каждого возможного следующего токена из словаря модели .

Механизм внимания

Ключевым элементом трансформера является механизм «масштабированного скалярного произведения внимания» (Scaled Dot-Product Attention). Он позволяет модели динамически фокусироваться на наиболее релевантных частях входной последовательности при генерации очередного токена . Формально этот механизм можно описать следующей формулой:

$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$

Здесь матрицы Q (запросы), K (ключи) и V (значения) получаются из входных векторов. Вычисление скалярного произведения Q и K определяет степень внимания, а деление на $\sqrt{d_k}$ (где $d_k$ — размерность ключей) используется для стабилизации градиентов .

На практике применяется многоголовое внимание (Multi-Head Attention): модель выполняет несколько таких операций внимания параллельно, каждая со своими проекционными матрицами, и затем объединяет их результаты. Это позволяет модели захватывать различные типы взаимосвязей между токенами .

Позиционное кодирование

Поскольку трансформер не обладает встроенным пониманием порядка слов, в него добавляется информация о позиции токенов в последовательности. Изначально для этого использовались синусоидальные функции :

$PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$

$PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$

где $pos$ — позиция токена, а $i$ — индекс измерения. В более поздних версиях, таких как GPT-3, статические кодировки были заменены на изучаемые позиционные эмбеддинги .

Обучение

Обучение GPT проходит в два основных этапа .

1. Предобучение (Generative Pre-training)

На этом этапе модель обучается в само-контролируемом режиме на огромном корпусе текстов. Целью является предсказание следующего токена в последовательности. Формально, для последовательности токенов $w_{0:t} = (w_0, \ldots, w_t)$ максимизируется следующая функция правдоподобия :

$L_1(\mathcal{U}) = \sum_i \log P(u_i|u_{i-k}, \ldots, u_{i-1}; \Theta)$

где $\Theta$ — параметры модели, а $k$ — размер контекстного окна. Иными словами, модель учится восстанавливать распределение вероятностей текста. Такой подход позволяет использовать практически неограниченный объём неразмеченных данных .

2. Адаптация к задачам

После предобучения модель может быть адаптирована под конкретные задачи, например, классификацию текстов или ответы на вопросы. Этот этап может выполняться одним из двух способов:

Дообучение (Fine-tuning): модель дополнительно обучается на небольшом наборе размеченных данных для конкретной задачи. Это требует изменения архитектуры (добавления новых слоёв) и обновления параметров модели .
Промптинг (Prompting) / In-context learning: начиная с GPT-3, модель демонстрирует способность решать новые задачи без изменения своих параметров, получая лишь описание задачи или несколько примеров (few-shot learning) в качестве входного контекста .

Для улучшения поведения модели в диалоговых системах также используется обучение с подкреплением на основе человеческой обратной связи (Reinforcement Learning from Human Feedback, RLHF). Этот метод применялся при создании моделей семейства InstructGPT и ChatGPT и позволил моделям лучше следовать инструкциям и генерировать более полезные и безопасные ответы .

История развития

GPT-1 (2018): Первая модель серии, содержащая 117 миллионов параметров и 12 слоёв декодеров. Была обучена на датасете BookCorpus. Продемонстрировала возможность эффективного дообучения для широкого круга NLP-задач .
GPT-2 (2019): Модель с 1.5 миллиардами параметров, обученная на более крупном датасете WebText (40 ГБ). Отличилась способностью генерировать длинные и связные тексты. Изначально OpenAI отказалась от полноценного выпуска модели из-за опасений её злонамеренного использования .
GPT-3 (2020): Революционная модель с 175 миллиардами параметров. Была обучена на смеси датасетов, включая Common Crawl, Books и Wikipedia. Показала впечатляющие способности к few-shot и zero-shot обучению, решая задачи, на которых не обучалась целенаправленно .
GPT-3.5 (2022): Промежуточное поколение, в котором были применены методы RLHF, что привело к созданию популярного чат-бота ChatGPT .
GPT-4 (2023): Мультимодальная модель, способная принимать на вход как текст, так и изображения. Отличается повышенной точностью и умением решать сложные задачи, например, сдавать экзамены на уровне лучших 10% выпускников .
GPT-4o (2024): Мультимодальная модель нового поколения, способная работать с текстом, изображениями и аудио, с очень низкой задержкой ответа .
GPT-5 (2025): Объединяет в себе несколько режимов работы, включая быстрые ответы и глубокие рассуждения. OpenAI позиционирует его как «единую систему» .

Сравнение с другими архитектурами

GPT (модели декодерного типа) часто противопоставляют моделям на основе кодировщика, наиболее известным представителем которых является BERT (Bidirectional Encoder Representations from Transformers) .

Основное различие заключается в направлении внимания:

GPT (декодер): использует маскированное внимание, т.е. видит только предыдущие токены. Это делает его идеальным для генерации текста .
BERT (кодировщик): использует двунаправленное (bi-directional) внимание, видя все токены в предложении. Это даёт более глубокое понимание контекста, но делает модель непригодной для авторегрессионной генерации. BERT лучше всего подходит для задач понимания языка, таких как классификация или извлечение информации .

Также существуют модели с архитектурой кодировщик-декодер (например, BART, T5), которые объединяют возможности обеих архитектур.

См. также

Литература

Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems .
Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). Improving Language Understanding by Generative Pre-Training .
Radford, A., et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI .
Brown, T. B., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems .
Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT .

Источник — «http://www.machinelearning.ru/wiki/index.php?title=GPT%28Generative_Pre-trained_Transformer%29»

@@ Строка 1: / Строка 1: @@
-'''Generative Pre-trained Transformer''' (сокр. '''GPT''') — семейство [[больших языковых моделей]] (LLM), разработанных компанией [[OpenAI]]. Модели данного типа основаны на архитектуре [[Трансформер (архитектура нейронных сетей)|трансформера]] и используют подход '''генеративного предобучения''' (generative pre-training): сначала модель обучается на больших объёмах неразмеченных текстовых данных, а затем может быть адаптирована для решения конкретных задач путём дообучения (fine-tuning) или с помощью подсказок (prompting) .
+{{well|Статья написана с использованием LLM '''DeepSeek-V4''' и проверена участником [[Участник:Daniil Nedugov]] 19:23, 17 июля 2026 (MSD)
+Промпт приводится полностью в [[Обсуждение:GPT(Generative Pre-trained Transformer)]]
+}}
+{{TOCright}}
+'''Generative Pre-trained Transformer''' (сокр. '''GPT''') — семейство [[Большая языковая модель|больших языковых моделей]] (LLM), разработанных компанией [[OpenAI]]. Модели данного типа основаны на архитектуре [[Трансформер (архитектура нейронных сетей)|трансформера]] и используют подход '''генеративного предобучения''' (generative pre-training): сначала модель обучается на больших объёмах неразмеченных текстовых данных, а затем может быть адаптирована для решения конкретных задач путём дообучения (fine-tuning) или с помощью подсказок (prompting) .
 Ключевая особенность GPT заключается в '''авторегрессионном''' способе генерации: модель предсказывает следующий токен (слово или его часть) на основе предыдущего контекста. Это позволяет ей порождать связные и логически последовательные тексты, что и обусловило её широкое применение в чат-ботах, системах генерации контента и других областях .