Обсуждение:Поиск нейронной архитектуры

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: == О подготовке статьи == Статья «Поиск нейронной архитектуры» была подготовлена с помощью '''GPT-5.6 Terra Hig...)
 
(1 промежуточная версия не показана)
Строка 1: Строка 1:
-
== О подготовке статьи ==
+
Эту статью я делал с помощью '''GPT-5.6 Terra High'''. Сначала написал такой промпт:
-
 
+
-
Статья «Поиск нейронной архитектуры» была подготовлена с помощью '''GPT-5.6 Terra High'''. Я хотел показать NAS не как магический способ «автоматически придумать лучшую сеть», а как задачу оптимизации с конкретным пространством поиска, ценой вычислений и большим числом практических ограничений.
+
-
 
+
-
Первый запрос был таким:
+
{{well|
{{well|
-
Ты разбираешься в глубоком обучении, AutoML и оптимизации. Напиши подробную энциклопедическую статью для MachineLearning.ru про поиск нейронной архитектуры (neural architecture search, NAS).
+
Напиши подробную статью про поиск нейронной архитектуры, или NAS. Простыми словами объясни, зачем автоматизировать проектирование нейросетей и почему NAS не может искать за пределами вариантов, которые ему заранее разрешили.
-
Сначала объясни, зачем вообще автоматизировать проектирование нейронных сетей. Затем введи три основные части NAS: пространство поиска, стратегию поиска и оценку качества архитектуры.
+
Расскажи про три основные части: пространство архитектур, способ поиска и оценку найденных вариантов. Добавь поиск с подкреплением, эволюционные методы, суперсети с общими весами и DARTS.
-
Расскажи про поиск с подкреплением, эволюционный поиск, разделение параметров в суперсети и дифференцируемый поиск DARTS. Объясни, чем поиск архитектуры отличается от подбора гиперпараметров и как NAS связан с AutoML.
+
Объясни разницу между NAS и обычным подбором гиперпараметров, а также связь с AutoML. Напиши про вычислительные затраты, воспроизводимость и зависимость результата от оборудования.
-
Нужны реальные формулы, но без перегрузки. Статья должна быть понятна студенту, но технически полезна специалисту. Добавь внутренние ссылки, реальные академические источники, ограничения, вопросы воспроизводимости и аппаратные ограничения.
+
Текст должен быть понятен студенту. Используй реальные источники, внутренние ссылки и несколько полезных формул. Ничего не выдумывай. Формулы оформляй через <tex> и </tex>, отдельные формулы начинай с двух двоеточий.
-
 
+
-
Не выдумывай факты, авторов, DOI и результаты экспериментов. Если используешь формулы, оформляй их через <tex>...</tex>, а отдельные формулы выделяй двойным отступом через два двоеточия.
+
}}
}}
-
После первого черновика я решил усилить статью в двух местах: подробнее объяснить, почему NAS — это двухуровневая оптимизация, и не замалчивать проблемы быстрых прокси-оценок, суперсетей и нестабильности DARTS.
+
В первом варианте общая структура получилась нормальной, но двухуровневая оптимизация была объяснена слишком быстро. Ещё было неясно, насколько можно доверять оценке архитектуры по общим весам суперсети и совпадёт ли это ранжирование с результатом после отдельного обучения каждой модели.
-
Второй запрос был таким:
+
Поэтому второй запрос был таким:
{{well|
{{well|
-
Доработай статью «Поиск нейронной архитектуры» как научный редактор.
+
Доработай статью про поиск нейронной архитектуры. Добавь формальную постановку как двухуровневую оптимизацию, где отдельно обучаются обычные веса сети и выбирается архитектура.
-
Добавь формальную постановку NAS как двухуровневой оптимизации с разделением обучения весов и выбора архитектуры. Чётко раздели макроархитектурный поиск, поиск повторяемых ячеек и аппаратно-ориентированный NAS.
+
Раздели поиск всей архитектуры, поиск повторяемых ячеек и поиск с учётом конкретного устройства. Подробнее напиши про reinforcement learning, регуляризованную эволюцию, ENAS и DARTS. Для DARTS объясни непрерывный выбор операций и проблему вырожденных архитектур.
-
Расширь разделы о reinforcement learning, регуляризованной эволюции, ENAS и DARTS. Для DARTS объясни непрерывную релаксацию выбора операций и почему метод может находить вырожденные архитектуры.
+
Добавь нормальный раздел про оценку кандидатов: полное обучение, прокси-задачи, раннюю остановку и разделение весов. Объясни, почему быстрая оценка во время поиска может не совпасть с качеством отдельно обученной модели.
-
Добавь отдельный раздел об оценке кандидатов: обучение с нуля, прокси-задачи, ранняя остановка, разделение весов и проблема несоответствия между качеством во время поиска и качеством окончательно обученной модели.
+
Не пиши, что NAS всегда лучше ручной архитектуры. Добавь ограничения по вычислениям, пространству поиска, валидационной выборке, воспроизводимости и оборудованию. Проверь источники и формулы. Используй только <tex> и </tex>, отдельные формулы начинай с двух двоеточий. Верни статью целиком.
 +
}}
-
Не создавай впечатление, что NAS всегда превосходит ручной дизайн. Добавь ограничения: вычислительная стоимость, зависимость от пространства поиска, переобучение на валидационной выборке, воспроизводимость и аппаратные требования.
+
После этого я вручную просмотрел весь текст, проверил формулы, ссылки и описание основных алгоритмов. Отдельно поправил объяснение DARTS и регуляризованной эволюции, а также убедился, что быстрые оценки архитектур не выдаются за окончательный результат.
-
 
+
-
Проверь, что нет пустых фраз, рекламных утверждений, выдуманных источников и несуществующих шаблонов. Формулы оформляй только через <tex>...</tex>, не через <math>...</math>. Верни готовую статью целиком в вики-разметке.
+
-
}}
+
-
После второй версии были проверены математическая разметка, внутренние ссылки, список литературы и формулировки ограничений методов.
+
[[Участник:Oleg Batsiev|Oleg Batsiev]]

Текущая версия

Эту статью я делал с помощью GPT-5.6 Terra High. Сначала написал такой промпт:


Напиши подробную статью про поиск нейронной архитектуры, или NAS. Простыми словами объясни, зачем автоматизировать проектирование нейросетей и почему NAS не может искать за пределами вариантов, которые ему заранее разрешили.

Расскажи про три основные части: пространство архитектур, способ поиска и оценку найденных вариантов. Добавь поиск с подкреплением, эволюционные методы, суперсети с общими весами и DARTS.

Объясни разницу между NAS и обычным подбором гиперпараметров, а также связь с AutoML. Напиши про вычислительные затраты, воспроизводимость и зависимость результата от оборудования.

Текст должен быть понятен студенту. Используй реальные источники, внутренние ссылки и несколько полезных формул. Ничего не выдумывай. Формулы оформляй через <tex> и </tex>, отдельные формулы начинай с двух двоеточий.


В первом варианте общая структура получилась нормальной, но двухуровневая оптимизация была объяснена слишком быстро. Ещё было неясно, насколько можно доверять оценке архитектуры по общим весам суперсети и совпадёт ли это ранжирование с результатом после отдельного обучения каждой модели.

Поэтому второй запрос был таким:


Доработай статью про поиск нейронной архитектуры. Добавь формальную постановку как двухуровневую оптимизацию, где отдельно обучаются обычные веса сети и выбирается архитектура.

Раздели поиск всей архитектуры, поиск повторяемых ячеек и поиск с учётом конкретного устройства. Подробнее напиши про reinforcement learning, регуляризованную эволюцию, ENAS и DARTS. Для DARTS объясни непрерывный выбор операций и проблему вырожденных архитектур.

Добавь нормальный раздел про оценку кандидатов: полное обучение, прокси-задачи, раннюю остановку и разделение весов. Объясни, почему быстрая оценка во время поиска может не совпасть с качеством отдельно обученной модели.

Не пиши, что NAS всегда лучше ручной архитектуры. Добавь ограничения по вычислениям, пространству поиска, валидационной выборке, воспроизводимости и оборудованию. Проверь источники и формулы. Используй только <tex> и </tex>, отдельные формулы начинай с двух двоеточий. Верни статью целиком.


После этого я вручную просмотрел весь текст, проверил формулы, ссылки и описание основных алгоритмов. Отдельно поправил объяснение DARTS и регуляризованной эволюции, а также убедился, что быстрые оценки архитектур не выдаются за окончательный результат.

Oleg Batsiev

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5:%D0%9F%D0%BE%D0%B8%D1%81%D0%BA_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D0%BE%D0%B9_%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D1%8B»
Личные инструменты