|
|
| Строка 1: |
Строка 1: |
| - | **Зима искусственного интеллекта** (англ. *AI winter*) — период затяжного снижения финансирования, интереса общественности и оптимизма в области исследований искусственного интеллекта (ИИ). Этот термин, проведённый по аналогии с «ядерной зимой», описывает состояние кризиса, наступающее после периода «лета» — бума и завышенных ожиданий, когда реальные результаты не оправдывают данных обещаний . За свою историю ИИ пережил по крайней мере две масштабные зимы, каждая из которых стала следствием совпадения технических ограничений и управленческих просчётов, и каждая кардинально изменила траекторию развития дисциплины .
| + | # Перекрёстная проверка (кросс-валидация) |
| | | | |
| - | ## Первая зима (1974–1980)
| + | **Перекрёстная проверка**, или **кросс-валидация** (от англ. *cross-validation*), — это метод оценки обобщающей способности и стабильности статистических моделей и алгоритмов машинного обучения. Основная идея заключается в многократном разбиении доступной выборки данных на две части: **обучающую** (*training set*) и **проверочную** (*validation set* или *test set*). Модель строится (обучается) на обучающей части, а затем её качество оценивается на проверочной части, которая не участвовала в построении модели. Такой подход позволяет получить более реалистичную оценку того, как модель будет работать на новых, ранее не виденных данных, и является ключевым инструментом для борьбы с **переобучением** (*overfitting*) . |
| | | | |
| - | Первая зима ИИ наступила в середине 1970-х годов и стала тяжёлым ударом по ранним исследованиям. Её наступление было вызвано двумя ключевыми причинами.
| + | ## Определение и основная мотивация |
| | | | |
| - | Во-первых, это **критический доклад Джеймса Лайтхилла**, представленный Британскому научному исследовательскому совету в 1973 году . В своём докладе Лайтхилл дал крайне пессимистичную оценку состояния дел в области ИИ. Главный аргумент заключался в том, что фундаментальные проблемы, такие как **комбинаторный взрыв** — экспоненциальный рост вычислительной сложности при попытке решать реальные задачи, — делают большинство подходов бесперспективными. Исследователи, по мнению Лайтхилла, потерпели неудачу в создании систем, способных справляться со сложностью и неоднозначностью реального мира, и их «грандиозные цели» остались невыполненными . Этот доклад привёл к «практически полному демонтажу исследований ИИ в Великобритании» и стал образцом для критики в других странах .
| + | В статистике и машинном обучении главной целью часто является не простое описание имеющихся данных, а построение модели, способной делать точные прогнозы для новых наблюдений. Однако, если модель слишком сложна, она может «запомнить» шум и случайные особенности обучающей выборки, что приведёт к отличным показателям на этих данных, но к плохим результатам на новых. Это явление и есть переобучение . |
| | | | |
| - | Вторым, не менее важным фактором стала **критика персептронов**. В 1969 году вышла книга Марвина Минского и Сеймура Пейперта «Персептроны», в которой математически доказывались фундаментальные ограничения однослойных нейронных сетей . Авторы показали, что такие сети неспособны решать даже простые логические задачи, например, функцию XOR (исключающее ИЛИ), если только данные не являются линейно разделимыми . Эта работа нанесла серьёзный удар по ранним нейросетевым исследованиям, фактически заморозив их почти на десятилетие, и переключила внимание научного сообщества на символьные подходы, которые рассматривались как более многообещающие .
| + | Перекрёстная проверка решает эту проблему, имитируя наличие новых данных. Вместо того чтобы оценивать модель на тех же данных, на которых она обучалась (что даёт смещённую, завышенную оценку), кросс-валидация использует часть данных исключительно для проверки. Процесс многократно повторяется, и результаты усредняются, что даёт более стабильную и надёжную оценку **ошибки обобщения** (*generalization error*) — ожидаемой ошибки модели на новых данных . |
| | | | |
| - | Последствия первой зимы были катастрофическими. Ведущие мировые агентства по финансированию, такие как DARPA (Агентство перспективных исследовательских проектов Министерства обороны США), разочаровавшись в отсутствии практических результатов, резко сократили вложения в фундаментальные исследования ИИ . Оптимизм сменился разочарованием, многие исследовательские проекты были свёрнуты, а сам термин «искусственный интеллект» стал восприниматься в академической среде как маркер неоправданного хайпа.
| + | ## История |
| | | | |
| - | ## Вторая зима (1987–1993)
| + | Идея разделения данных и перекрёстной проверки имеет глубокие исторические корни, уходящие в область психометрики и статистики первой половины XX века. |
| | | | |
| - | Вторая зима, наступившая в конце 1980-х, по своим масштабам была не менее суровой, чем первая, и её причины были тесно связаны с переоценкой возможностей так называемых **экспертных систем**.
| + | **Ранние работы.** Проблема завышения множественного коэффициента корреляции *R* при его вычислении на той же выборке, где были получены регрессионные веса, была осознана уже в 1930-х годах. Сельмер Ларсон в 1931 году отметил, что корреляция, полученная на исходной выборке, будет «обманчиво велика», и предложил корректирующие формулы . |
| | | | |
| - | Экспертные системы, основанные на символьном представлении знаний и логическом выводе, стали главным коммерческим успехом ИИ в 1980-х годах . Однако к концу десятилетия их фундаментальные недостатки стали очевидны. Основной проблемой стал **«узкий горлышек» (bottleneck) извлечения знаний**: оказалось чрезвычайно сложно и дорого переносить знания экспертов-людей в формальные правила, на которых строились эти системы . Системы были «хрупкими» (англ. *brittle*): они давали сбои при малейшем отклонении от ожидаемого ввода, не могли обучаться и требовали колоссальных затрат на поддержание и обновление баз знаний . К началу 1990-х годов стало ясно, что, несмотря на отдельные успешные внедрения (например, система XCON для компании DEC), поддерживать такие системы в рабочем состоянии экономически нецелесообразно .
| + | **Появление метода разделения данных.** Термин «перекрёстная проверка» (cross-validation) и метод, как отдельный подход, начали формироваться в 1950-х годах. На симпозиуме по психометрике в 1950 году Чарльз Мозье (Charles Mosier) фактически предложил *k*-кратную кросс-валидацию с *k*=2, подчеркнув необходимость проверки эффективности предикторов на независимой выборке . Эдвард Кьюртон (Edward Cureton) в том же году прямо указал на проблему переобучения: метод наименьших квадратов «подгоняет ошибки так же, как и систематические тренды в данных» . |
| | | | |
| - | Вторым важным фактором стал **крах рынка LISP-машин**. Для работы с символьным ИИ и, в частности, с экспертными системами, были разработаны специализированные компьютеры, оптимизированные под язык программирования Lisp . Однако быстрое развитие производительности универсальных рабочих станций от Sun Microsystems и других производителей сделало дорогостоящие Lisp-машины ненужными. В 1987 году этот рынок, оценивавшийся в полмиллиарда долларов, рухнул, что привело к банкротству ключевых игроков, таких как Symbolics и Lisp Machines Inc. .
| + | **Метод «складного ножа» (Jackknife).** Важным предшественником современных методов является **джекнайф** (*jackknife*). Он был предложен Морисом Кенуйем (Maurice Quen |
| - | | + | |
| - | Наконец, своё влияние оказало **фиаско японского проекта «Пятое поколение» (FGCS)**. Запущенный в 1982 году с грандиозными амбициями создать компьютеры на основе логического программирования и массового параллелизма, проект привлёк огромное внимание и финансирование по всему миру . Однако к началу 1990-х стало ясно, что его изначальные цели — создание «машины для логического вывода» — остались невыполнимыми, что нанесло серьёзный удар по репутации символьного подхода и привело к сворачиванию финансирования .
| + | |
| - | | + | |
| - | Последствия второй зимы были столь же серьёзны. Финансирование было «жестоко сокращено» , интерес к ИИ в индустрии сошёл на нет, и многие компании были вынуждены переименовывать свои исследовательские отделы, избегая термина «искусственный интеллект» . Именно в этот период область нейронных сетей и статистического обучения, переименованная в «машинное обучение», начала своё возрождение, которое в итоге привело к современному буму .
| + | |
| - | | + | |
| - | ## Причины наступления «зим»
| + | |
| - | | + | |
| - | Анализ двух крупнейших «зим» ИИ позволяет выделить повторяющиеся паттерны, лежащие в их основе. Все они сводятся к одному фундаментальному циклу: **грандиозные обещания → приток финансирования → столкновение с технической реальностью → разочарование и отток капитала** .
| + | |
| - | | + | |
| - | Ключевым техническим фактором всегда был **разрыв между возможностями доминирующей парадигмы и сложностью задач реального мира**.
| + | |
| - | * В первую зиму символьные системы и ранние нейросети потерпели неудачу при попытке выйти за рамки «игрушечных» микро-миров. Они не могли справляться с комбинаторным взрывом и неопределённостью .
| + | |
| - | * Во вторую зиму экспертные системы натолкнулись на неразрешимую проблему представления знаний и их «хрупкость» .
| + | |
| - | | + | |
| - | Этот разрыв часто усугублялся **экономическими и политическими факторами**, когда государственные и частные инвесторы, очарованные ранними успехами, начинали требовать быстрой отдачи от вложенных средств, что было невозможно в условиях нерешённых научных проблем .
| + | |
| - | | + | |
| - | ## Уроки для современного машинного обучения
| + | |
| - | | + | |
| - | «Зимы» ИИ — это не просто исторические анекдоты; это важнейшие уроки, сформировавшие современную культуру исследований в области машинного обучения (ML).
| + | |
| - | | + | |
| - | 1. **От символьных подходов к статистическому обучению.** Главный вывод из «зим» — отказ от попыток напрямую запрограммировать человеческий интеллект в пользу создания алгоритмов, которые *обучаются* на данных. Современный ML, основанный на статистике и нейросетях, изначально развивался как альтернатива «символьному ИИ», и именно его успех позволил преодолеть последствия второй зимы .
| + | |
| - | 2. **Скептицизм в отношении «серебряных пуль».** Опыт двух «зим» научил сообщество критически относиться к обещаниям и искать подтверждение эффективности на эмпирических данных. Он напоминает, что успех в ограниченных задачах (например, игра в шахматы) не гарантирует решения проблем в общем случае.
| + | |
| - | 3. **Важность постановки реалистичных целей.** Движение ML в 1990-х годах во многом было связано с отказом от амбициозной цели создания «сильного ИИ» (AGI) и сосредоточением на решении конкретных, хорошо сформулированных задач, таких как распознавание образов или классификация текстов .
| + | |
| - | 4. **Ценность инженерной дисциплины.** «Зимы» показали, что поддержка сложных систем (как экспертные) требует строгой инженерии. Именно это понимание привело к развитию современных подходов к MLOps и управлению жизненным циклом моделей.
| + | |
| - | | + | |
| - | Современный бум глубокого обучения несёт в себе те же риски. Умение распознавать признаки приближающейся «зимы» — неоправданный хайп, кризис воспроизводимости, стагнация ключевых метрик на сложных бенчмарках — является важнейшим профессиональным навыком для современного инженера и исследователя .
| + | |
| - | | + | |
| - | ## См. также
| + | |
| - | | + | |
| - | * [[Дартмутский семинар]] | + | |
| - | * [[Персептрон]] | + | |
| - | * [[Экспертные системы]] | + | |
| - | * [[История искусственного интеллекта]] | + | |
| - | | + | |
| - | ## Примечания
| + | |
| - | | + | |
| - | <div style="font-size:0.9em;">
| + | |
| - | | + | |
| - | 1. Автор статьи не несёт ответственности за перевод терминов, устоявшихся в русскоязычной научной литературе. Предпочтение отдаётся наиболее распространённым вариантам.
| + | |
| - | 2. Для единообразия цитирования использована сквозная нумерация источников.
| + | |
| - | | + | |
| - | </div>
| + | |
| - | | + | |
| - | ## Литература
| + | |
| - | | + | |
| - | <div style="font-size:0.9em;">
| + | |
| - | | + | |
| - | 1. Crevier, D. (1993). *AI: The Tumultuous History of the Search for Artificial Intelligence*. New York: Basic Books.
| + | |
| - | 2. Lighthill, J. (1973). «Artificial Intelligence: A General Survey». In *Artificial Intelligence: a paper symposium*. Science Research Council.
| + | |
| - | 3. Minsky, M., & Papert, S. (1969). *Perceptrons: An Introduction to Computational Geometry*. MIT Press.
| + | |
| - | 4. Haigh, T. (2024). «The AI Winter». *Communications of the ACM*, 67(2).
| + | |
| - | 5. Russell, S. J., & Norvig, P. (2020). *Artificial Intelligence: A Modern Approach* (4th ed.). Pearson. (Включает подробный исторический обзор)
| + | |
| - | 6. Nilsson, N. J. (2009). *The Quest for Artificial Intelligence: A History of Ideas and Achievements*. Cambridge University Press.
| + | |
| - | | + | |
| - | </div>
| + | |
В статистике и машинном обучении главной целью часто является не простое описание имеющихся данных, а построение модели, способной делать точные прогнозы для новых наблюдений. Однако, если модель слишком сложна, она может «запомнить» шум и случайные особенности обучающей выборки, что приведёт к отличным показателям на этих данных, но к плохим результатам на новых. Это явление и есть переобучение .
Перекрёстная проверка решает эту проблему, имитируя наличие новых данных. Вместо того чтобы оценивать модель на тех же данных, на которых она обучалась (что даёт смещённую, завышенную оценку), кросс-валидация использует часть данных исключительно для проверки. Процесс многократно повторяется, и результаты усредняются, что даёт более стабильную и надёжную оценку **ошибки обобщения** (*generalization error*) — ожидаемой ошибки модели на новых данных .
Идея разделения данных и перекрёстной проверки имеет глубокие исторические корни, уходящие в область психометрики и статистики первой половины XX века.
