Обсуждение:Закон масштабирования нейронных сетей
Материал из MachineLearning.
История создания статьи «Закон масштабирования нейронных сетей» с помощью LLM
Первый промпт к DeepSeek-V3 был таким:
| Ты специалист в области машинного обучения, профессор ведущего технического университета и популяризатор науки. Напиши энциклопедическую статью про законы масштабирования нейронных сетей на русском языке. Придерживайся структуры и стиля, принятого в Википедии.
Англоязычная статья в Википедии Neural scaling law содержит верные базовые определения и ключевые формулы, однако она излишне технически сложна, фрагментирована и не даёт целостного практического понимания. Её можно брать за основу, но необходимо существенно упростить изложение, сделать его более популярным и ориентированным на инженеров, при этом без ущерба для математической строгости. Важные степенные зависимости и формулы обязательно сохрани, но сопроводи их интуитивными пояснениями. Сделай акцент на практическом применении законов масштабирования в машинном обучении. В частности: - Чётко объясни взаимосвязь трёх ключевых переменных: количество параметров (N), размер данных (D) и вычислительные затраты (C). - Подробно опиши, как эти законы помогают планировать обучение больших моделей (прогнозирование качества до начала дорогих экспериментов). - Сравни два основных подхода: оптимальное масштабирование по OpenAI (Kaplan et al.) и правило Чинчиллы (Hoffmann et al.) — покажи, почему второе стало индустриальным стандартом и как оно влияет на выбор архитектуры. - Обязательно упомяни современные ограничения: «сломанные» законы масштабирования (BNSL), проблемы с насыщением данных и масштабирование на этапе вывода (inference scaling). Целевая аудитория — студенты и инженеры в области анализа данных и машинного обучения, в том числе начинающие. Статья должна давать им не только теоретические знания, но и практические инструменты для принятия решений о распределении ресурсов при обучении моделей. Добавь исторический раздел: расскажи, кто первым сформулировал степенные законы для нейросетей (работы Hestness et al., 2017), как развивалось понимание, и какие ключевые работы повлияли на современное состояние. Также полезно кратко осветить теоретические попытки объяснить законы масштабирования (например, через распределение данных по закону Ципфа или теорию эффективной размерности). Не выдумывай факты. Ищи надёжные источники в научной литературе (оригинальные статьи OpenAI, DeepMind, последние обзоры). В конце собери список научной литературы с полными библиографическими описаниями. Всегда проверяй корректность ссылок. Важные понятия (например, «переобучение», «обобщающая способность», «стохастический градиентный спуск», «FLOP») оформляй как ссылки на другие статьи энциклопедии (в вики-разметке — текст ссылки). Используй форматирование вики-разметки. А также поменяй теги math на теги tex |
Статья получилась довольно хорошей, в ней были верно переданы результаты основных исследований. Хронология событий тоже была на приемлемом уровне. Но мне показалось, что у читателя могут остаться вопросы по одной из частей статьи. Поэтому был составлен второй промпт:
|
| Отличная статья, но нужно сгладить переход в секции про Чинчиллу, пояснив, что соотношение |
После редактирования разметки и перепроверки литературы было решено опубликовать работу. Опыт автоматизации написания статьи с использованием LLM считаю успешным - Gadel Mahmutov 14:49, 22 июня 2026 (MSD)
