Обсуждение:Поиск нейронной архитектуры

Материал из MachineLearning.

Версия 12:28, 19 июля 2026

Что именно автоматизирует NAS

Статья «Поиск нейронной архитектуры» была подготовлена с помощью GPT-5.6 Terra High. При работе мне было важно не описывать NAS как кнопку, которая сама «придумывает лучшую сеть». Алгоритм выбирает вариант только внутри пространства, заранее заданного исследователем, а результат зависит не только от стратегии поиска, но и от способа оценки кандидатов и доступного вычислительного бюджета.

Первый запрос был таким:

Ты разбираешься в глубоком обучении, AutoML и оптимизации. Напиши подробную энциклопедическую статью для MachineLearning.ru про поиск нейронной архитектуры (neural architecture search, NAS). Сначала объясни, зачем вообще автоматизировать проектирование нейронных сетей. Затем введи три основные части NAS: пространство поиска, стратегию поиска и оценку качества архитектуры. Расскажи про поиск с подкреплением, эволюционный поиск, разделение параметров в суперсети и дифференцируемый поиск DARTS. Объясни, чем поиск архитектуры отличается от подбора гиперпараметров и как NAS связан с AutoML. Нужны реальные формулы, но без перегрузки. Статья должна быть понятна студенту, но технически полезна специалисту. Добавь внутренние ссылки, реальные академические источники, ограничения, вопросы воспроизводимости и аппаратные ограничения. Не выдумывай факты, авторов, DOI и результаты экспериментов. Если используешь формулы, оформляй их через <tex>...</tex>, а отдельные формулы выделяй двойным отступом через два двоеточия.

Первый вариант помог выстроить статью вокруг трёх уровней NAS — пространства, поиска и оценки, — но в нём двухуровневая оптимизация была раскрыта слишком кратко. Кроме того, требовалось точнее описать быстрые способы оценки: общие веса суперсети экономят вычисления, но полученное ранжирование архитектур не обязательно сохраняется после их независимого обучения.

Поэтому второй запрос был направлен уже не на увеличение объёма, а на уточнение механики методов:

Доработай статью «Поиск нейронной архитектуры» как научный редактор. Добавь формальную постановку NAS как двухуровневой оптимизации с разделением обучения весов и выбора архитектуры. Чётко раздели макроархитектурный поиск, поиск повторяемых ячеек и аппаратно-ориентированный NAS. Расширь разделы о reinforcement learning, регуляризованной эволюции, ENAS и DARTS. Для DARTS объясни непрерывную релаксацию выбора операций и почему метод может находить вырожденные архитектуры. Добавь отдельный раздел об оценке кандидатов: обучение с нуля, прокси-задачи, ранняя остановка, разделение весов и проблема несоответствия между качеством во время поиска и качеством окончательно обученной модели. Не создавай впечатление, что NAS всегда превосходит ручной дизайн. Добавь ограничения: вычислительная стоимость, зависимость от пространства поиска, переобучение на валидационной выборке, воспроизводимость и аппаратные требования. Проверь, что нет пустых фраз, рекламных утверждений, выдуманных источников и несуществующих шаблонов. Формулы оформляй только через <tex>...</tex>, не через <math>...</math>. Верни готовую статью целиком в вики-разметке.

Что было проверено после генерации

После второй версии я отдельно сверил те места, где краткий пересказ особенно легко превращается в фактическую ошибку:

• двухуровневая запись оставлена как общая постановка задачи, а не как буквальный алгоритм для всех разновидностей NAS;
• в DARTS разведены обновление обычных весов по обучающим данным и параметров архитектуры по валидационным данным;
• уточнена дискретизация свёрточной ячейки DARTS: выбираются сильные входящие рёбра и операция на каждом из них, а не просто максимальная операция на всех рёбрах;
• в регуляризованной эволюции исправлено правило удаления: популяцию покидает самый старый кандидат независимо от качества, тогда как родитель выбирается турниром;
• аппаратные показатели оформлены как ограничения или нормированные критерии; задержку предложено измерять на целевом устройстве;
• добавлены табличные тестовые среды NAS и требования к честному сравнению — одинаковые пространство, бюджет, режим обучения, число запусков и независимая тестовая оценка;
• проверены первоисточники, формулы, повторное использование ссылок и работоспособность блока примечаний.

Итоговая статья получилась не каталогом методов, а описанием полного цикла: что разрешено искать, как выбираются кандидаты, насколько надёжно они оцениваются и что необходимо проверить после завершения поиска.

— Oleg Batsiev