Обсуждение:Обучение с подкреплением из обратной связи человека (RLHF)

Материал из MachineLearning.

Версия от 17:39, 14 июля 2026; Emil Petrov (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск

Промпт для генерации статьи

Промпт, использованный для генерации статьи «Обучение с подкреплением из обратной связи человека (RLHF)» с помощью LLM Claude Sonnet 4: 

Напиши подробную энциклопедическую статью для MachineLearning.ru про RLHF на русском языке:
SFT → reward model → PPO; InstructGPT; DPO; риски; формулы; литература; внутренние ссылки.
Шаблон well добавить отдельно.

— Emil Petrov

Второй промпт

Переписал промпт под критерии курса: понятность новичку + формулы/альтернативы для профи. Перегенерация 14 июля 2026.

Модель: Claude Sonnet 4. 

Ты специалист в области машинного обучения, профессор и популяризатор науки.

Напиши статью MachineLearning.ru про обучение с подкреплением из обратной связи человека (RLHF).
Объясни пайплайн SFT → модель вознаграждения (Bradley–Terry) → PPO с KL-штрафом популярно и со формулами.
Добавь DPO/RLAIF как альтернативы; проблемы (reward hacking, sycophancy); связь с промпт-инжинирингом и LLM.

Формат MediaWiki; <tex> без кириллицы; {{статья}}/{{книга}}; внутренние ссылки.

После генерации вручную проверил формулы и ссылки.

— Emil Petrov 14 июля 2026

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5:%D0%9E%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81_%D0%BF%D0%BE%D0%B4%D0%BA%D1%80%D0%B5%D0%BF%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5%D0%BC_%D0%B8%D0%B7_%D0%BE%D0%B1%D1%80%D0%B0%D1%82%D0%BD%D0%BE%D0%B9_%D1%81%D0%B2%D1%8F%D0%B7%D0%B8_%D1%87%D0%B5%D0%BB%D0%BE%D0%B2%D0%B5%D0%BA%D0%B0_%28RLHF%29»
Личные инструменты