Обсуждение:Остаточные связи
Материал из MachineLearning.
Первый промпт к LLM был таким:
| Ты специалист в области машинного обучения, профессор в ведущем техническом университете и популяризатор науки. Напиши энциклопедическую статью про остаточные связи (residual connections, skip connections) в глубоких нейронных сетях на русском языке. Придерживайся структуры и стиля, принятого в Википедии.
Целевая аудитория — студенты и инженеры в области анализа данных и машинного обучения, в том числе начинающие. Статья должна быть полезна как новичку, так и профессионалу. Обязательно свяжи материал с проблемой затухающего градиента — покажи, как остаточные связи решают эту проблему на архитектурном уровне. Добавь раздел с историей и практическими результатами: кто и когда предложил архитектуру ResNet (He, Zhang, Ren, Sun, 2016), какие результаты она показала на ImageNet и CIFAR-10, а также как идея развивалась дальше (pre-activation блоки, DenseNet, дальнейшие вариации архитектуры). Не выдумывай факты. Ищи надёжные источники в научной литературе. В конце собери список научной литературы. Всегда проверяй корректность ссылок. Важные понятия оформляй как внутренние ссылки, желательно с англоязычным термином в скобках. Используй форматирование вики-разметки: формулы через |
При проверке первой версии статьи обнаружились два содержательных пробела: не была упомянута архитектура Highway Networks, а также не рассматривалась альтернативная интерпретация эффективности остаточных сетей как ансамбля путей разной длины. Поэтому был сделан второй промпт:
|
| Дополни статью следующим образом, не изменяя остальной текст.
В разделе "История и практические результаты" добавь краткое упоминание Highway Networks (Srivastava, Greff, Schmidhuber, 2015) как концептуального предшественника ResNet, отметив ключевое отличие — обучаемый гейт вместо фиксированного тождественного пути. Добавь новый подраздел про интерпретацию ResNet как ансамбля путей разной длины (Veit et al., 2016), кратко объяснив суть эффекта. В подразделе про предактивационные блоки добавь одно предложение с упоминанием ResNeXt и Wide ResNet как дальнейших вариаций архитектуры. Для каждого нового факта добавь ссылку [1] с полными библиографическими данными и добавь эти позиции в список литературы. |
После выполнения второго промпта обнаружилась регрессия: LLM попутно удалила ранее сгенерированный подраздел про DenseNet (Huang et al., 2017), при этом библиографическая запись на статью осталась в списке литературы без единого использования в тексте. Ошибка была выявлена при построчной проверке соответствия ссылок и содержания статьи. Поэтому был сделан третий, точечный промпт:
|
| Исправь одну проблему, не изменяя остальной текст.
В статье отсутствует подраздел про архитектуру DenseNet, хотя ссылка на неё осталась в списке литературы. Добавь подраздел "Плотные связи (DenseNet)" после подраздела "Интерпретация ResNet как ансамбля путей разной длины" и перед "Предактивационные остаточные блоки", кратко описав архитектуру DenseNet (Huang et al., 2017): выход каждого слоя внутри плотного блока конкатенируется с выходами всех предыдущих слоёв этого блока, что усиливает распространение сигнала и градиента и позволяет достигать сопоставимой с ResNet точности при существенно меньшем числе параметров. Используй уже имеющуюся в списке литературы ссылку на статью Huang et al. |
