Результаты поиска
Материал из MachineLearning.
По запросу «AdamW»
Страницы с названием «AdamW» не существует.
Для получения более подробной информации о поиске на страницах проекта, см. справочный раздел.
Ниже показаны 11 результатов, начиная с № 1.
Просмотреть (предыдущие 20) (следующие 20) (20 | 50 | 100 | 250 | 500)
Нет совпадений в названиях статей
Совпадения в текстах статей
- Трансформер (модель) (21 030 байт)
99: ...е LLM наследуют ту же логику (AdamW, warmup + cosine/decay, mixed precision), но м... - Регуляризация (23 374 байта)
74: === AdamW: разделение весовой деград...
75: ...стому L2-штрафу. '''AdamW'''<ref name="adamw">Loshchilov I., Hutter F. ''Decoupled Weight Deca... - Многослойная нейронная сеть (30 245 байт)
144: * [[AdamW]]. - Методы оптимизации в машинном обучении (30 278 байт)
58: ...пада в адаптивных методах (AdamW) ===
60: ...и градиентами. Оптимизатор AdamW изолирует регуляризацию, п...
66: ...n (EvoLved Sign Momentum). В отличие от AdamW, Lion хранит только первый мо...
94: ... базовым оптимизатором (SGD, AdamW). Lookahead синхронизирует два ...
145: | '''AdamW''' || 1-й || <tex>2 \times \theta</tex> || Из... - Проблема взрыва градиентов (15 675 байт)
81: ... регуляризацией (например, AdamW); - Авторегрессионная модель (26 377 байт)
35: ...о градиентного спуска]] (Adam, AdamW). Для непрерывных данных ча... - L2-регуляризация (25 838 байт)
6: ...ого уменьшения весов.<ref name="adamw">Loshchilov I., Hutter F. [https://openreview.net...
102: ...ип лежит в основе AdamW.<ref name="adamw" /> Различие существенно: од...
108: * '''AdamW''' — адаптивный оптимизато...
206: ...тухание различаются.<ref name="adamw" /> - Проектирование систем машинного обучения (48 540 байт)
87: ...леры:''' широко применяется AdamW с разделением весового рас... - Обработка естественного языка (62 528 байт)
256: ... выполняется вариантом [[Adam|AdamW]] с раздельным weight decay: - Adam (18 251 байт)
67: === Модификации: AdamW ===
68: ... \eta (\dots) - \eta \lambda \theta_{t-1}</tex>). AdamW решил проблему «разрыва в ...
90: ...reprint arXiv:1711.05101. (Модификация AdamW). - Тонкая настройка (25 232 байта)
24: ...даптивные варианты ([[Adam]], [[AdamW]]) для обновления всех пара...
Просмотреть (предыдущие 20) (следующие 20) (20 | 50 | 100 | 250 | 500)
