Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{well|Статья написана с использованием LLM '''Gemini 3.1 Pro''' и проверена участником [[Участник:Osman_Osmanov|Osman Osmanov]] 16:32, 18 июля 2026 (MSD) Промпт приводится полностью в [[Обсуждение:Смешанная точность (Mixed Precision)]] }} {{TOCright}} == Смешанная точность == '''Смешанная точность''' ''(англ. Mixed Precision Training)'' — метод [[Глубокое обучение|обучения глубоких нейронных сетей]], при котором вычислительно интенсивные операции прямого и обратного проходов выполняются в формате пониженной точности (FP16, BF16), тогда как критические для сходимости параметры хранятся и обновляются в полной точности (FP32). Метод реализует фундаментальный компромисс между численной стабильностью и производительностью: современные GPU и TPU задействуют специализированные аппаратные блоки ([[Тензорное ядро|тензорные ядра]]), способные выполнять [[Матрица|матричные]] умножения в 2–4 раза быстрее в режиме пониженной точности, но прямое использование низкой разрядности приводит к потере младших битов [[Градиент|градиентов]] и срыву сходимости<ref name="mixed_precision">{{статья |автор=Micikevicius P., Narang S., Alben J. и др. |заглавие=Mixed Precision Training |издание=International Conference on Learning Representations (ICLR) |год=2018 |doi=10.48550/arXiv.1710.03740}}</ref>. Важно различать режимы ''обучения'' (training) и ''инференса'' (inference). При обучении алгоритм многократно вычисляет [[Градиент|градиенты]] и корректирует веса; любая потеря информации на этапе обратного прохода аккумулируется по итерациям и уводит траекторию оптимизатора от истинного минимума. На инференсе, напротив, достаточно однократного прямого прохода; численная погрешность сказывается лишь на предсказании, поэтому здесь допустимо применение 8-битного целочисленного [[Квантизация|квантования]]. Смешанная точность при обучении балансирует на границе допустимой погрешности, ускоряя вычисления без ущерба для точности модели. == Форматы представления данных == Все операции в VLM, LLM и других архитектурах опираются на [[Число с плавающей запятой|числа с плавающей запятой]] стандарта IEEE 754. Число представляется тройкой <tex>(s, e_{\text{stored}}, m)</tex> — знак, смещённая экспонента (хранимое значение) и дробная часть мантиссы. Истинное значение восстанавливается как: ::<tex>x = (-1)^s \times 2^{e_{\text{stored}} - \text{bias}} \times (1 + m)</tex> Смещение <tex>\text{bias}</tex> равно <tex>2^{k-1} - 1</tex>, где <tex>k</tex> — число бит, отведённых под экспоненту. Экспонента определяет динамический диапазон, мантисса — число значащих разрядов внутри этого диапазона. Рассмотрим ключевые форматы: * '''FP32''' (Single Precision, 32 бита): 1 знак, 8 экспонента (<tex>\text{bias}=127</tex>), 23 мантисса. Динамический диапазон нормализованных чисел: от <tex>\approx 1.18 \times 10^{-38}</tex> до <tex>\approx 3.40 \times 10^{38}</tex>, точность около 7 десятичных знаков. Считается золотым стандартом [[Глубокое обучение|глубокого обучения]], обладающий значительной избыточностью: большинство [[Градиент|градиентов]] малы, и младшие разряды мантиссы FP32 почти не влияют на обновление весов. * '''TF32''' (TensorFloat-32, 32 бита на устройстве): логически использует 1 знак, 8 экспонента (как FP32) и 10 мантисса (как FP16). Это внутренний формат [[Тензорное ядро|тензорных ядер]] архитектур Ampere и новее. Динамический диапазон совпадает с FP32, а точность — с FP16. Используется для матричных умножений, обеспечивая ускорение без ручного изменения кода. * '''FP16''' (Half Precision, 16 бит): 1 знак, 5 экспонента (<tex>\text{bias}=15</tex>), 10 мантисса. Динамический диапазон: от <tex>6.10 \times 10^{-5}</tex> (минимальное положительное нормализованное) до <tex>6.55 \times 10^{4}</tex>. Жесткое ограничение сверху и снизу приводит к тому, что значительная доля [[Градиент|градиентов]] (по модулю меньше <tex>2^{-14} \approx 6.1 \times 10^{-5}</tex>) уходит в ноль ([[Переполнение (математика)|исчезновение]]). Малая длина мантиссы также ограничивает точность сложения чисел разных порядков. * '''BF16''' (Brain Floating Point, 16 бит): 1 знак, 8 экспонента (<tex>\text{bias}=127</tex>), 7 мантисса. Экспонента совпадает с FP32, поэтому динамический диапазон идентичен FP32: числа могут достигать ~<tex>3.4 \times 10^{38}</tex> и падать до <tex>1.18 \times 10^{-38}</tex>, что полностью исключает затухание большей части [[Градиент|градиентов]]. Плата — сниженная точность (всего 7 бит мантиссы), но для алгоритмов на основе [[Стохастический градиентный спуск|SGD]] это часто приемлемо. Формат предложен Google для TPU и быстро стал основным для обучения больших языковых моделей<ref name="bfloat16">{{статья |автор=Kalamkar D., Mudigere D., Mellempudi N. и др. |заглавие=A Study of BFLOAT16 for Deep Learning Training |издание=arXiv preprint |год=2019 |doi=10.48550/arXiv.1905.12322}}</ref>. * '''FP8''' (8 бит): два варианта стандарта NVIDIA/ARM/Intel — '''E4M3''' (4 бита экспонента, bias=7, 3 мантисса) и '''E5M2''' (5 бит экспонента, bias=15, 2 мантиссы). E4M3 обеспечивает более высокую точность (до 7.5% относительной погрешности), тогда как E5M2 — расширенный динамический диапазон (за счёт большей экспоненты). Как правило, E4M3 применяется для прямого прохода (веса и активации), а E5M2 — для обратного прохода ([[Градиент|градиенты]]), чтобы минимизировать риск зануления [[Градиент|градиента]]<ref name="fp8">{{статья |автор=Micikevicius P., Stosic D., Burgess N. и др. |заглавие=FP8 Formats for Deep Learning |издание=arXiv preprint |год=2022 |doi=10.48550/arXiv.2209.05433}}</ref>. {| class="wikitable" |- ! Формат !! Экспонента (бит) !! Мантисса (бит) !! Динамический диапазон (нормализованные значения) !! Ключевая особенность / Применение |- | FP32 || 8 || 23 || <tex>\approx 1.18 \times 10^{-38}</tex> – <tex>3.40 \times 10^{38}</tex> || Полная точность, эталон для обучения и хранения весов |- | TF32 || 8 || 10 || <tex>\approx 1.18 \times 10^{-38}</tex> – <tex>3.40 \times 10^{38}</tex> || Прозрачное ускорение матричных умножений на Ampere/Blackwell, диапазон FP32 при точности FP16 |- | FP16 || 5 || 10 || <tex>6.10 \times 10^{-5}</tex> – <tex>6.55 \times 10^{4}</tex> || Основной формат для вычислений на [[Тензорное ядро|тензорных ядрах]] (Volta+), требует масштабирования потерь |- | BF16 || 8 || 7 || <tex>1.18 \times 10^{-38}</tex> – <tex>3.40 \times 10^{38}</tex> || Диапазон FP32, обучение без масштабирования, стандарт для LLM |- | FP8 E4M3 || 4 || 3 || <tex>\approx 1 \times 10^{-8}</tex> – 448 || Повышенная точность; прямой проход в Hopper/Blackwell |- | FP8 E5M2 || 5 || 2 || <tex>\approx 1.5 \times 10^{-5}</tex> – 57344 || Расширенный диапазон; обратный проход, уменьшение исчезновения градиента |} == Предпосылки к появлению смешанной точности == Прямой перевод сети и [[Градиент|градиентов]] в FP16 без дополнительных мер приводит к двум математическим проблемам, делающим обучение невозможным. === Исчезновение градиентов под нижнюю границу (Underflow) === В [[Глубокое обучение|глубоких сетях]] ([[LSTM]], [[ResNet]], [[Трансформер (модель)|Transformer]]) на ранних этапах обучения или при использовании функций активации с насыщением значения [[Градиент|градиентов]] часто становятся меньше <tex>6.10 \times 10^{-5}</tex> — минимального нормализованного числа FP16. Как уже было затронуто ранее, субнормальные числа FP16 могут представлять ещё меньшие величины, но резко теряют точность, и многие GPU обрабатывают их крайне медленно. На практике такие [[Градиент|градиенты]] просто зануляются. При нулевых [[Градиент|градиентах]] [[Метод обратного распространения ошибки|обратное распространение]] останавливается, и соответствующие слои перестают обучаться. === Проблема округления при обновлении весов === Правило обновления [[Весовой коэффициент|весов]]: ::<tex>W_{\text{new}} = W_{\text{old}} - \eta \cdot g.</tex> В FP16 типичное значение веса <tex>W_{\text{old}}</tex> может быть порядка <tex>10^0</tex>, а произведение скорости обучения <tex>\eta</tex> (например, <tex>10^{-4}</tex>) на [[Градиент|градиент]] <tex>g</tex> (порядка <tex>10^{-2}</tex>) даёт поправку <tex>\Delta W \approx 10^{-6}</tex>. Если относительный сдвиг не превышает <tex>2^{-10} \approx 9.8 \times 10^{-4}</tex>, то FP16 не сможет различить <tex>W_{\text{old}}</tex> и <tex>W_{\text{new}}</tex>, поскольку результат сложения просто округлится до исходного значения. Математически, <tex>1.0 + 10^{-6} = 1.0</tex> в арифметике FP16. Это делает обучение невозможным. == Классический пайплайн смешанной точности (по методике NVIDIA) == Алгоритм автоматической смешанной точности (AMP) был описан и реализован в библиотеках NVIDIA Apex и PyTorch<ref name="mixed_precision" />. Его цель — использовать преимущества FP16 для быстрых матричных умножений и экономии памяти, одновременно защитив обучение от численных потерь. Пайплайн состоит из шести шагов. # '''Создание FP32-копии весов (Master Weights).''' Помимо привычных весов модели, поддерживается их точная мастер-копия в FP32. Прямой проход выполняется с FP16-весами, но аккумулирование обновлений происходит в FP32, что позволяет накапливать малые поправки без потери информации. # '''Прямой проход (Forward Pass).''' Веса и активации конвертируются в FP16. Все операции свёрток, линейных слоёв, умножений матриц выполняются на [[Тензорное ядро|тензорных ядрах]] с использованием FP16-арифметики. [[Функция потерь]] также вычисляется в FP16, экономя пропускную способность памяти. # '''Масштабирование потерь (Loss Scaling).''' [[Градиент|Градиенты]] многих слоёв могут быть настолько малы, что в FP16 окажутся за пределами динамического диапазона и занулятся. Чтобы решить эту проблему, [[Функция потерь|функцию потерь]] умножают на большой коэффициент <tex>S</tex> (типично 8192 или выше). Тогда [[Градиент|градиенты]] во всех слоях масштабируются в <tex>S</tex> раз: <tex>g_{\text{scaled}} = S \cdot g.</tex> Если исходный градиент был <tex>10^{-7}</tex>, умножение на 8192 даст <tex>8.192 \times 10^{-4}</tex>, что уже представимо в FP16. # '''Обратный проход (Backward Pass).''' [[Метод обратного распространения ошибки|Обратное распространение]] выполняется в FP16, но с масштабированными градиентами. Таким образом, большая часть арифметики задействует быстрые ядра, а проблема [[Проблема затухающего градиента|исчезновения градиентов]] временно купирована. # '''Де-масштабирование (Unscaling) и обновление.''' Перед применением градиентов к весам выполняется обратное деление: <tex>g_{\text{actual}} = g_{\text{scaled}} / S</tex>, после чего градиенты копируются в FP32. Затем обновление применяется к FP32-мастер-весам, где и накапливаются поправки. # '''Динамический выбор масштаба (Dynamic Loss Scaling).''' При слишком большом <tex>S</tex> отдельные градиенты могут превысить максимальное значение FP16 (<tex>6.55 \times 10^{4}</tex>) и превратиться в NaN/Inf. Алгоритм отслеживает такие переполнения: если в батче обнаружены некорректные значения, шаг оптимизатора пропускается (skip update), а масштаб <tex>S</tex> уменьшается (например, вдвое). Если же на протяжении многих итераций переполнений нет, <tex>S</tex> плавно увеличивают, чтобы вернуть защиту самых малых градиентов. Такая стратегия реализована в PyTorch AMP автоматически. == Тензорные ядра == Ускорение смешанной точности стало возможным благодаря специализированным вычислительным блокам — [[Тензорное ядро|тензорным ядрам]] (Tensor Cores), впервые представленным в архитектуре NVIDIA Volta (2017)<ref name="tensor_cores">{{статья |автор=Markidis S., Chien S. W. D., Laure E. и др. |заглавие=NVIDIA tensor core programmability, performance & precision |издание=IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW) |год=2018 |страницы=522–531 |doi=10.1109/IPDPSW.2018.00091}}</ref>. [[Тензорное ядро]] выполняет операцию над матрицами 4×4 за один такт: ::<tex>\mathbf{D} = \mathbf{A} \times \mathbf{B} + \mathbf{C}</tex> Здесь перемножаемые матрицы <tex>\mathbf{A}</tex> и <tex>\mathbf{B}</tex> хранятся в FP16 (в последних поколениях — также BF16, TF32, FP8), а <tex>\mathbf{C}</tex> и результат <tex>\mathbf{D}</tex> могут находиться в FP32 или FP16. Накопление суммы выполняется с точностью не ниже FP32, что гарантирует корректность результата без потери значащих цифр. Таким образом, дорогостоящее матричное умножение выполняется на скорости ввода-вывода FP16, а результирующая точность соответствует FP32. В архитектурах Ampere (A100) и Hopper (H100) [[Тензорное ядро|тензорные ядра]] поддерживают BF16 и TF32 (19-битный внутренний формат), а в Blackwell — и FP8, что даёт дальнейшее удвоение пропускной способности. На практике использование Tensor Cores с FP16/BF16 даёт пиковое ускорение вычислений в 2–8 раз по сравнению с чистым FP32 на тех же GPU. == Практическая реализация и влияние на ресурсы == === Программный стек === В PyTorch смешанная точность включается менеджером контекста <code>torch.autocast</code> и обёрткой над оптимизатором <code>torch.amp.GradScaler</code><ref name="pytorch">{{статья |автор=Paszke A., Gross S., Massa F. и др. |заглавие=PyTorch: An Imperative Style, High-Performance Deep Learning Library |издание=Advances in Neural Information Processing Systems (NeurIPS) |год=2019 |том=32 |страницы=8024–8035}}</ref>. Модель, оптимизатор и [[Функция потерь|функция потерь]] остаются без изменений; автоматический кастинг определяет, какие операции безопасно выполнять в FP16 (матричные умножения, свёртки), а какие требуют FP32 (нормализация, softmax). Инженеру достаточно добавить несколько строк: <code> scaler = torch.amp.GradScaler('cuda') for data, target in dataloader: optimizer.zero_grad() with torch.autocast(device_type='cuda', dtype=torch.float16): output = model(data) loss = criterion(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() </code> === Профиль эффективности === Смешанная точность не всегда радикально сокращает память, занятую параметрами модели. Например, для оптимизатора [[Адаптивный градиентный спуск|Adam]]<ref name="adam">{{статья |автор=Kingma D. P., Ba J. |заглавие=Adam: A Method for Stochastic Optimization |издание=International Conference on Learning Representations (ICLR) |год=2015 |doi=10.48550/arXiv.1412.6980}}</ref> в чистом FP32 требуется 4 байта на веса + 8 байт на состояния (моменты первого и второго порядка) = 12 байт на параметр. В режиме AMP добавляются FP32 мастер-веса (4 байта), FP16 копия весов (2 байта) и те же FP32 состояния [[Адаптивный градиентный спуск|Adam]] (8 байт) — итого 14 байт на параметр. Основная экономия памяти (20–40% и более) достигается за счёт двукратного сжатия сохранённых активаций (saved activations): в моделях типа [[Трансформер (модель)|Трансформер]] активации обратного прохода могут занимать больше памяти, чем сами параметры. Хранение их в FP16 вдвое снижает этот объём, позволяя увеличить размер мини-батча или разрядность модели. Прирост скорости обучения (wall-clock time) составляет от 1.5x до 3x в зависимости от архитектуры и доли операций, задействующих [[Тензорное ядро|тензорные ядра]]. == Преимущества и недостатки == Применение смешанной точности в обучении и инференсе [[Глубокое обучение|глубоких нейронных сетей]] связано с компромиссом между аппаратной эффективностью и численной стабильностью вычислений. === Преимущества === * '''Ускорение вычислений.''' Перенос матричного умножения и свёрточных операций из формата FP32 в форматы сниженной разрядности (FP16, BF16 или FP8) позволяет задействовать специализированные аппаратные блоки — [[Тензорное ядро|тензорные ядра]] (например, Tensor Cores в архитектурах NVIDIA). Это обеспечивает прирост производительности в 2–4 раза по сравнению с чистым FP32. * '''Экономия видеопамяти (VRAM).''' Переменные в формате FP16 занимают 2 байта вместо 4 байт в FP32. Снижение объема хранимых активаций и [[Градиент|градиентов]] позволяет существенно увеличить размер пакета данных (размер батча) либо обучать более масштабные архитектуры (например, большие языковые модели) на существующем оборудовании. * '''Снижение нагрузки на шину памяти.''' Уменьшение размера данных вдвое сокращает время, затрачиваемое на их пересылку между памятью GPU и вычислительными блоками, что устраняет частые узкие места (memory bottleneck) в пропускной способности. * '''Сохранение целевых метрик.''' Благодаря использованию мастер-копии весов в формате FP32 для шага оптимизатора, итоговое качество сходимости, [[Точность|точность]] (Accuracy) и [[Функция потерь|функция потерь]] (Loss) обученной модели остаются на уровне стандартного обучения высокой точности. === Недостатки === * '''Проблема исчезновения [[Градиент|градиентов]] (Underflow).''' Формат FP16 имеет ограниченный динамический диапазон (минимальное ненулевое значение порядка <tex>6 \cdot 10^{-5}</tex>). В процессе обратного распространения ошибки малые значения [[Градиент|градиентов]] часто округляются до нуля, что приводит к остановке обучения отдельных слоев. * '''Необходимость масштабирования потерь (Loss Scaling).''' Для борьбы с исчезновением [[Градиент|градиентов]] разработчикам приходится внедрять механизмы динамического или статического масштабирования: умножать значение функции потерь на большой коэффициент перед расчетом [[Градиент|градиентов]] и делить обратно перед обновлением весов. Это усложняет логику пайплайна и отладку. * '''Аппаратная зависимость.''' Эффективность метода напрямую привязана к микроархитектуре графического процессора. На устаревшем оборудовании (без аппаратной поддержки FP16/BF16 вычислений) применение смешанной точности приводит к падению производительности из-за накладных расходов на постоянную конвертацию типов данных (кастинг). * '''Дополнительные затраты памяти на оптимизатор.''' Поскольку методология требует одновременного хранения весов в низкой точности (для прямого и [[Метод обратного распространения ошибки|обратного проходов]]) и мастер-копии вместе со спецификациями оптимизатора (например, [[Адаптивный градиентный спуск|Adam]]) в FP32, для небольших моделей чистая экономия памяти может оказаться менее выраженной, чем ожидалось. == См. также == * [[Механизм внимания]] * [[Трансформер (модель)]] * [[Обработка естественного языка]] == Ссылки == <references/> [[Категория:Машинное обучение]]

• Шаблон:Mbox
• Шаблон:TOCright
• Шаблон:Well
• Шаблон:Переводы
• Шаблон:Статья

Возврат к странице Смешанная точность (Mixed Precision).