Обсуждение:Валидация модели

Материал из MachineLearning.

Первый промпт

Ты — профессор машинного обучения ведущего технического университета США, исследователь в области статистического обучения и редактор энциклопедического ресурса уровня MachineLearning.ru.

Необходимо написать полноценную энциклопедическую статью на тему «Валидация моделей» в формате MediaWiki.

Статья должна быть законченной, самодостаточной и пригодной для публикации без дополнительной доработки.

1. ЦЕЛЕВАЯ АУДИТОРИЯ

Основная аудитория — студенты второго курса технических специальностей, впервые изучающие машинное обучение.

Вторичная аудитория — практикующие специалисты, которым требуется систематизированное и научно корректное изложение темы.

Текст должен:

• вводить в предмет практически с нуля;
• постепенно переходить к более сложным вопросам;
• не упрощать материал в ущерб научной точности;
• служить качественным справочным материалом.

2. ГЛАВНАЯ ЦЕЛЬ СТАТЬИ

После прочтения статьи должно быть понятно:

• зачем необходима валидация моделей;
• какую проблему она решает;
• как она связана с обучением, тестированием и обобщающей способностью модели;
• какие существуют методы валидации;
• когда применяется каждый метод;
• какие ограничения и источники ошибок существуют;
• какие практические рекомендации используются при разработке моделей машинного обучения.

Статья должна не только давать определения, но и объяснять причины появления методов, их взаимосвязь и ограничения.

3. ТРЕБОВАНИЯ К СОДЕРЖАНИЮ

Статья должна полно раскрывать тему и не ограничиваться общеизвестными определениями.

Необходимо осветить:

• определение валидации моделей;
• историческое развитие методов оценки качества;
• связь с теорией статистического обучения;
• обучающую, валидационную и тестовую выборки;
• обобщающую способность модели;
• переобучение и недообучение;
• выбор гиперпараметров;
• смещение оценки качества;
• утечку данных;
• методы разделения выборки;
• hold-out validation;
• cross-validation;
• k-fold cross-validation;
• stratified k-fold;
• leave-one-out cross-validation;
• repeated cross-validation;
• group k-fold;
• time series validation;
• walk-forward validation;
• nested cross-validation;
• bootstrap;
• out-of-bag validation;
• применение валидации при подборе моделей;
• связь с AutoML;
• вычислительную стоимость методов;
• статистическую интерпретацию результатов;
• влияние случайности;
• воспроизводимость экспериментов;
• типичные ошибки;
• практические рекомендации.

Не превращай статью в перечень методов. Для каждого метода объясни:

• зачем он нужен;
• какую проблему решает;
• где применяется;
• в каких случаях его не следует использовать;
• какие ограничения он имеет.

4. ГЛУБИНА ИЗЛОЖЕНИЯ

Для каждого важного понятия последовательно раскрой:

• интуитивную идею;
• строгое определение;
• математический смысл, если он необходим;
• практическую интерпретацию;
• пример применения;
• ограничения.

Не используй термины без объяснения. Специализированные понятия сначала определяй, затем применяй.

5. СТИЛЬ

Используй строгий нейтральный академический стиль.

Запрещены:

• разговорные выражения;
• эмоциональные оценки;
• рекламные формулировки;
• обращения к читателю;
• риторические вопросы;
• канцеляризмы;
• шаблонные фразы, характерные для сгенерированных текстов.

Текст должен напоминать статью из научной энциклопедии.

6. КАЧЕСТВО ОБЪЯСНЕНИЙ

Каждый сложный термин сначала объясняй простыми словами, затем переходи к строгому изложению.

Используй короткие примеры только там, где они помогают пониманию.

Избегай слишком длинных абзацев и повторов.

7. НАУЧНАЯ КОРРЕКТНОСТЬ

Все утверждения должны соответствовать современному пониманию машинного обучения.

Опирайся на источники по:

• статистическому обучению;
• вычислительной статистике;
• распознаванию образов;
• современной практике машинного обучения.

Не пересказывай один учебник и не придумывай факты.

Если существуют разные точки зрения, кратко укажи их.

Обязательно раскрой ограничения методов.

При наличии философских и эпистемологических аспектов опиши:

• невозможность получить абсолютно объективную оценку качества;
• зависимость оценки от неизвестного распределения данных;
• проблему репрезентативности выборки;
• различие между высокой метрикой и истинностью модели.

8. МАТЕМАТИЧЕСКИЕ ФОРМУЛЫ

Используй формулы только там, где они необходимы для понимания.

Встроенные формулы оформляй так:

Формулы на отдельной строке оформляй так:

Использование тегов <math>...</math> и символов $ запрещено.

9. ОФОРМЛЕНИЕ MEDIAWIKI

Разделы оформляй так:

Заголовок

Подразделы:

Подраздел

Внутренние ссылки:

Машинное обучение

Жирное выделение применяй только для ключевых терминов.

Не злоупотребляй списками, курсивом и визуальными выделениями.

10. СПИСКИ

Используй списки только тогда, когда они действительно улучшают структуру.

Не создавай формальные списки «преимущества и недостатки» без пояснений.

Каждый пункт должен содержать осмысленную информацию.

11. СНОСКИ И ИСТОЧНИКИ

Академические ссылки оформляй так:

^[1]

Используй авторитетные источники, включая работы:

• Trevor Hastie;
• Robert Tibshirani;
• Jerome Friedman;
• Christopher Bishop;
• Kevin Murphy;
• Gareth James;
• Vladimir Vapnik;
• Ian Goodfellow;
• Ron Kohavi;
• Leo Breiman.

При необходимости используй статьи из JMLR, IEEE, ACM и других рецензируемых изданий.

Не используй вымышленные источники.

12. СТРУКТУРА СТАТЬИ

Статья может включать следующие разделы:

• введение;
• основные понятия;
• теоретические основы;
• методы валидации;
• специальные схемы разделения;
• выбор гиперпараметров;
• утечка данных;
• статистическая неопределённость;
• практические рекомендации;
• типичные ошибки;
• ограничения;
• раздел «См. также»;
• литература.

Структуру можно изменить, если это улучшает логику изложения.

13. ОГРАНИЧЕНИЕ ОБЪЁМА

Объём статьи не должен превышать 32 КБ.

Необходимо убрать:

• повторы;
• второстепенные подробности;
• длинные исторические отступления;
• избыточные примеры;
• дублирование информации между разделами.

14. ФИНАЛЬНАЯ ПРОВЕРКА

Перед выводом проверь, что статья:

• полностью раскрывает тему;
• не превышает установленный объём;
• не содержит повторов;
• имеет логичную структуру;
• использует единый академический стиль;
• не содержит противоречий;
• объясняет все основные термины;
• корректно использует разметку MediaWiki;
• пригодна для публикации на MachineLearning.ru.

15. ФОРМАТ ОТВЕТА

Выведи исключительно готовый текст статьи.

Не добавляй предисловий, комментариев, пояснений и служебных фраз.

Не используй Markdown.

Используй только разметку MediaWiki.

Второй промпт

Никогда не используй:

• шаблонные вступления;
• шаблонные заключения;
• пустые переходы между мыслями;
• корпоративный жаргон;
• мотивационные фразы без содержания;
• избыточные объяснения;
• предсказуемые конструкции предложений;
• очевидные замечания;
• лишний контекст;
• искусственно сбалансированную подачу, когда доказательства явно поддерживают одну сторону.

Всегда:

• начинай с самой важной мысли;
• ставь содержательность выше объёма объяснений;
• предпочитай конкретику абстракциям;
• естественно меняй ритм и структуру предложений;
• высказывай содержательные суждения;
• ставь под сомнение сомнительные предпосылки, когда это уместно;
• пиши уверенно;
• удаляй всё, что не добавляет ценности;
• пиши как человек, который глубоко понимает предмет.

После написания проверь каждый абзац и убери всё, что звучит как сгенерированный текст, а не как осмысленная авторская речь.

Теперь напиши:

[текст после первого промпта] ```