Обсуждение:Предобучение

Материал из MachineLearning.

Промпт 1: "Ты — автор статей для вики-энциклопедии MachineLearning.ru. Напиши статью на русском языке «Предобучение».

Требования:

Объём: 8–12 тысяч знаков.

Стиль: строгий научный, без публицистики. Изложение от простого к сложному: новичок понимает идею и мотивацию, эксперт видит связь с трансферным обучением, fine-tuning и современными методами.

Вики-разметка MediaWiki:

Разделы: == Название раздела ==, === Подраздел ===.

Внутренние ссылки: Термин или отображаемый текст.

Сноски: ^[1], в конце == Примечания == и .

Формулы: для внутристрочных, :: для выключных.

Структура статьи:

== Введение ==: определение предобучения как обучения модели на большой общей задаче с последующей адаптацией к целевой. Отличие от обучения с нуля. Связь с машинным обучением, глубоким обучением, трансферным обучением.

== Мотивация ==:

Нехватка размеченных данных для целевой задачи.

Эффективность: переиспользование выученных представлений вместо обучения с нуля.

Улучшение обобщения и ускорение сходимости на малых данных.

== Виды предобучения ==:

Предобучение с учителем: на большом размеченном датасете (ImageNet для компьютерного зрения).

Предобучение без учителя: автоэнкодеры, masked language modeling, contrastive learning. Почему это стало доминирующим подходом в NLP и набирает вес в CV.

Self-supervised предобучение: модель порождает разметку из самих данных (BERT, SimCLR, MAE).

== Предобучение в компьютерном зрении ==:

ImageNet предобучение как классический подход.

Линейный пробинг (linear probing) и fine-tuning как стратегии оценки качества представлений.

Современные self-supervised методы: SimCLR, MoCo, DINO, MAE.

== Предобучение в обработке естественного языка ==:

Word embeddings (Word2Vec, GloVe) как ранняя форма предобучения.

Эпоха трансформеров: BERT, GPT, T5. Masked language modeling и autoregressive предобучение.

Парадигма pre-train + fine-tune и её ограничения.

== Механизмы переноса знаний ==:

Заморозка слоёв: какие слои переносить, какие дообучать.

Постепенное размораживание (gradual unfreezing).

Дискриминативные скорости обучения (discriminative fine-tuning).

Катастрофическое забывание и методы борьбы с ним.

== Эффективность и ограничения ==:

Когда предобучение помогает, а когда нет (размер целевой выборки, сходство доменов).

Negative transfer: когда предобучение вредит.

Вычислительная стоимость предобучения и вопросы воспроизводимости.

== Современные тенденции ==:

Foundation models: одна предобученная модель для множества задач.

In-context learning как альтернатива fine-tuning.

Предобучение с подкреплением.

== Литература ==.

Категории:

text"