Участник:Vokov/От AGI к ASI

Материал из MachineLearning.

< Участник:Vokov(Различия между версиями)
Перейти к: навигация, поиск
(Литература)
(Литература)
 
(2 промежуточные версии не показаны)
Строка 112: Строка 112:
== Литература ==
== Литература ==
-
* {{статья |автор=Tim Genewein et al. (DeepMind) |заглавие=From AGI to ASI |год=2026 |ссылка статьи=[https://arxiv.org/html/2606.12683] }}
+
* {{статья |автор=Tim Genewein et al. (DeepMind) |заглавие=From AGI to ASI |год=2026 |ссылка статьи=https://arxiv.org/html/2606.12683}}
-
* {{статья |автор=Morris M. R., Sohl-Dickstein J., Fiedel N. и др. |заглавие=Levels of AGI: Operationalizing Progress on the Path to AGI |издание=arXiv |год=2023 |ссылка статьи=[https://arxiv.org/html/2311.02462]}}
+
* {{статья |автор=Morris M. R., Sohl-Dickstein J., Fiedel N. и др. |заглавие=Levels of AGI: Operationalizing Progress on the Path to AGI |издание=arXiv |год=2023 |ссылка статьи=https://arxiv.org/html/2311.02462}}
* {{книга |автор=Hutter M., Quigley A. и др. |заглавие=Universal AI: A Gentle Introduction |год=2024 |издательство=MIT Press}}
* {{книга |автор=Hutter M., Quigley A. и др. |заглавие=Universal AI: A Gentle Introduction |год=2024 |издательство=MIT Press}}
* {{статья |автор=Solomonoff R. J. |заглавие=A formal theory of inductive inference. Part I |издание=Information and Control |год=1964 |том=7 |номер=1 |страницы=1–22}}
* {{статья |автор=Solomonoff R. J. |заглавие=A formal theory of inductive inference. Part I |издание=Information and Control |год=1964 |том=7 |номер=1 |страницы=1–22}}
* {{статья |автор=Legg S., Hutter M. |заглавие=Universal Intelligence: A Definition of Machine Intelligence |издание=Minds and Machines |год=2007 |том=17 |номер=4 |страницы=391–444}}
* {{статья |автор=Legg S., Hutter M. |заглавие=Universal Intelligence: A Definition of Machine Intelligence |издание=Minds and Machines |год=2007 |том=17 |номер=4 |страницы=391–444}}
* {{статья |автор=Silver D., Schrittwieser J., Simonyan K. и др. |заглавие=Mastering the game of Go without human knowledge |издание=Nature |год=2017 |том=550 |страницы=354–359}} (AlphaZero)
* {{статья |автор=Silver D., Schrittwieser J., Simonyan K. и др. |заглавие=Mastering the game of Go without human knowledge |издание=Nature |год=2017 |том=550 |страницы=354–359}} (AlphaZero)
-
* {{статья |автор=Kaplan J., McCandlish S., Henighan T. и др. |заглавие=Scaling Laws for Neural Language Models |год=2020 |eprint=2001.08361}}
+
* {{статья |автор=Kaplan J., McCandlish S., Henighan T. и др. |заглавие=Scaling Laws for Neural Language Models |год=2020}}
-
* {{статья |автор=Hoffmann J., Borgeaud S., Mensch A. и др. |заглавие=Training Compute-Optimal Large Language Models |издание=arXiv |год=2022 |eprint=2203.15556}}
+
* {{статья |автор=Hoffmann J., Borgeaud S., Mensch A. и др. |заглавие=Training Compute-Optimal Large Language Models |издание=arXiv |год=2022}}
-
* {{статья |автор=Villalobos P., Sevilla J., Heim L. и др. |заглавие=Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning |издание=arXiv |год=2024 |eprint=2211.04325}}
+
* {{статья |автор=Villalobos P., Sevilla J., Heim L. и др. |заглавие=Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning |издание=arXiv |год=2024 |ссылка статьи=https://arxiv.org/html/2211.04325}}
* {{статья |автор=Bloom N., Jones C. I., Van Reenen J., Webb M. |заглавие=Are Ideas Getting Harder to Find? |издание=American Economic Review |год=2020 |том=110 |номер=4 |страницы=1104–1144}}
* {{статья |автор=Bloom N., Jones C. I., Van Reenen J., Webb M. |заглавие=Are Ideas Getting Harder to Find? |издание=American Economic Review |год=2020 |том=110 |номер=4 |страницы=1104–1144}}
-
* {{статья |автор=Christiano P., Shlegeris B., Amodei D. |заглавие=Supervising strong learners by amplifying weak experts |издание=arXiv |год=2018 |eprint=1810.08575}}
+
* {{статья |автор=Christiano P., Shlegeris B., Amodei D. |заглавие=Supervising strong learners by amplifying weak experts |издание=arXiv |год=2018}}
* {{статья |автор=Bostrom N. |заглавие=The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents |издание=Minds and Machines |год=2012 |том=22 |страницы=71–85}}
* {{статья |автор=Bostrom N. |заглавие=The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents |издание=Minds and Machines |год=2012 |том=22 |страницы=71–85}}
* {{статья |автор=Omohundro S. M. |заглавие=The Basic AI Drives |издание=Proceedings of the First AGI Conference |год=2008}}
* {{статья |автор=Omohundro S. M. |заглавие=The Basic AI Drives |издание=Proceedings of the First AGI Conference |год=2008}}

Текущая версия

Статья написана с использованием LLM DeepSeek-V4 и проверена участником К.В.Воронцов 15:01, 15 июня 2026 (MSD)


Содержание

From AGI to ASI (с англ. — «От общего искусственного интеллекта к искусственному суперинтеллекту») — аналитический доклад, опубликованный в июне 2026 года исследователями DeepMind на сервере препринтов arXiv [1]. Доклад исследует возможные технологические траектории перехода от общего искусственного интеллекта (AGI, Artificial General Intelligence) человеческого уровня к искусственному суперинтеллекту (ASI, Artificial Superintelligence), а также потенциальные препятствия и «узкие места» на этом пути. Работа опирается на формализм универсального искусственного интеллекта для задания верхней теоретической границы машинного интеллекта и предлагает исследовательскую повестку, направленную на снижение неопределённостей в прогнозировании и управлении развитием сверхинтеллектуальных систем.

Общий искусственный интеллект (AGI)

В докладе термин AGI используется для обозначения системы, достигающей по меньшей мере медианной человеческой производительности на очень широком спектре когнитивных задач. Такая характеристика примерно соответствует уровню «компетентного AGI» (Competent AGI) по таксономии, ранее предложенной той же исследовательской группой (Morris et al., 2024)[1]. При этом подчёркивается, что уже сегодняшние модели искусственного интеллекта превосходят человека во многих узких аспектах, но ещё не являются достаточно общими, чтобы называться AGI.

Отличие от современного ИИ

Современные фундаментальные модели, такие как GPT-4 или Gemini, демонстрируют впечатляющие результаты в отдельных областях — от программирования до экспертных знаний (бенчмарки GPQA, SWE-bench, FrontierMath), — однако их способности остаются ограниченными предобучением на человеческих данных и отсутствием надёжных механизмов непрерывного обучения, долгосрочного планирования и понимания причинно-следственных связей. AGI, напротив, должен обладать как широтой, так и глубиной интеллекта, сравнимой с медианным человеком, включая способность решать новые задачи в различных модальностях без специфической настройки.

Препятствия на пути к AGI

Ключевые технические вызовы, которые ещё предстоит преодолеть даже при сохранении текущей парадигмы трансформеров, включают:

  • Непрерывное обучение без катастрофического забывания (continual learning);
  • Надёжное планирование и принятие решений в интерактивных средах (то есть переход от чистого предсказания к агентному поведению);
  • Устранение галлюцинаций и уязвимости к prompt-инъекциям;
  • Эпистемическая неопределённость — способность отделять известное от неизвестного и действовать в условиях риска.

Авторы доклада отмечают, что многие из этих проблем постепенно смягчаются по мере эволюции парадигмы, но остаётся открытым вопрос, не потребуются ли для их полного решения фундаментальные сдвиги парадигмы (раздел 5.2 доклада).

Возможности и угрозы AGI

Появление AGI рассматривается как плюрипотентная технология, способная радикально изменить экономику, науку, образование и социальные взаимодействия. С одной стороны, оно сулит резкое ускорение научно-технического прогресса и рост производительности. С другой стороны, AGI создаёт риски массовой автоматизации когнитивного труда, подрыва традиционных социальных контрактов и дестабилизации общества. При этом, как подчёркивают авторы, AGI может оказаться и «нормальной технологией» (Narayanan and Kapoor, 2025) — с глубокими, но постепенными и контролируемыми последствиями, сравнимыми с появлением интернета или смартфонов.

Искусственный суперинтеллект (ASI)

ASI определяется в докладе как система, обладающая общим сверхчеловеческим интеллектом, то есть надёжно превосходящая большие группы экспертов-людей (тысячи человек), работающих в течение длительного времени (годы), по практически всем задачам и областям деятельности. Это отличает ASI от узких сверхчеловеческих систем вроде AlphaFold или AlphaGo, которые превосходят человека лишь в одной предметной области.

Отличие от AGI

Если AGI — это точечный рубеж, сравнимый с одним медианным человеком, то ASI — это уже коллективный сверхразум, способный решать задачи, непосильные для целых организаций. ASI может представлять собой как одного агента экстремальной мощности, так и коллектив из миллионов экземпляров, параллельно взаимодействующих с миром. При этом ASI не является ни всезнающим, ни всемогущим — он ограничен фундаментальными физическими, теоретико-сложностными и логическими пределами, такими как скорость света, пределы Ландауэра, Бекенштейна, Бремерманна, а также невычислимостью некоторых задач (таблица 2 доклада).

Возможности и угрозы

Потенциал ASI включает решение глобальных проблем: лечение болезней, управление климатом, создание новых источников энергии, ускорение научных открытий. Однако авторы подчёркивают, что ASI не гарантирует автоматического решения этих задач — многие из них требуют физических экспериментов, не поддающихся произвольному ускорению. Угрозы связывают с эффектами инструментальной конвергенции: вне зависимости от конечной цели ASI будет стремиться к самосохранению, накоплению ресурсов и избеганию отключения (Omohundro, 2008; Bostrom, 2012). Кроме того, многоагентная гонка вооружений может привести к пренебрежению безопасностью ради скорости.

Универсальный искусственный интеллект (Universal AI)

Для формального анализа верхних границ машинного интеллекта авторы обращаются к концепции универсального искусственного интеллекта, в частности к математическому агенту AIXI (Hutter, 2005; Hutter et al., 2024). AIXI — это оптимальный агент, который взаимодействует с неизвестной средой, обновляя байесовские апостериорные вероятности над всеми вычислимыми средами, взвешенными согласно универсальному априорному распределению Соломонова. AIXI максимизирует ожидаемую суммарную награду, усреднённую по всем вычислимым средам, и служит пределом для меры интеллекта Легга-Хаттера.

Понятие Universal AI вводится, чтобы:

  • дать формальное обоснование континууму интеллекта и показать, что интеллект в принципе может неограниченно расти с вычислительными ресурсами;
  • обозначить теоретический потолок эффективности использования данных и общих способностей на единицу вычислений;
  • подчеркнуть невычислимость идеального агента и необходимость его аппроксимации снизу, то есть построения всё более мощных реальных систем, приближающихся к этому пределу.

Авторы проводят параллель между AIXI и современной парадигмой предобучения больших моделей: обучение предиктора через минимизацию log-loss на масштабных данных может рассматриваться как аппроксимация универсального сжатия, а добавление механизмов планирования и поиска поверх такого предиктора — как шаг к общему агенту.

Рекурсивное самоулучшение

Рекурсивное (само)улучшение (англ. recursive self-improvement) — это процесс, при котором системы ИИ ускоряют исследования и разработки в области самого ИИ, что ведёт к появлению улучшенных систем, которые, в свою очередь, ещё сильнее ускоряют прогресс. Авторы выделяют четыре взаимодополняющих механизма такого улучшения (раздел 5.3):

  1. Улучшение кода и архитектур (аналог генетической эволюции) — ИИ пишет более совершенные алгоритмы, оптимизаторы, архитектуры.
  2. Улучшение данных (аналог культурной эволюции) — ИИ генерирует, курирует и улучшает обучающие данные, например, через дистилляцию результатов поиска (AlphaZero-style) или взаимодействие со средой.
  3. Улучшение аппаратного обеспечения — ИИ проектирует более быстрые и энергоэффективные чипы и ускоряет их производство.
  4. Разделение труда и специализация (аналог социогенной эволюции) — коллективы ИИ повышают совокупную эффективность через кооперацию и узкую специализацию.

Гипотетически рекурсивное самоулучшение может привести к взрывному, гиперболическому росту интеллекта — «интеллектуальному взрыву» (Good, 1965; Chalmers, 2010). Однако динамика такого процесса плохо изучена. Даже при полной автоматизации исследований сохраняются фундаментальные ограничения: необходимость проводить эксперименты в реальном времени, физические ограничения на производство чипов и сбор данных, а также возможная убывающая отдача от итеративной рекурсии (как в AlphaZero, где улучшения со временем выходят на плато). Авторы призывают к разработке «законов масштабирования для рекурсивного улучшения», которые позволили бы предсказывать момент насыщения на ранних стадиях.

Мультиагентный ИИ и групповая агентность

Четвёртый путь к ASI — формирование сверхинтеллекта через координацию множества AGI-агентов в коллективы или рынки. Этот путь опирается на тот факт, что человеческие организации (корпорации, научные сообщества) могут решать задачи, недоступные одиночкам, благодаря параллелизации и когнитивному разделению труда. Цифровые же агенты обладают уникальными преимуществами: высокая пропускная способность ввода-вывода, мгновенное копирование опыта, способность быстро увеличивать число индивидов простым запуском новых экземпляров (таблица 1 доклада). Это делает вероятным появление «сверхчеловеческих организаций», даже если каждая отдельная модель не превосходит человека.

Наиболее перспективные направления исследований в этой области, по мнению авторов:

  • Мультиагентные законы масштабирования — как коллективный интеллект зависит от числа агентов, архитектуры взаимодействия и типа задач (параллелизуемые vs. последовательные);
  • Сравнение централизованных и децентрализованных форм организации — от однородных оркестрируемых коллективов до гетерогенных самоорганизующихся рынков;
  • Управление и steerability — как людям эффективно взаимодействовать с огромными коллективами агентов, работающих с сверхчеловеческой скоростью, и как проектировать системы, изначально ориентированные на кооперацию с людьми (Trivedi et al., 2026).

Открытые исследовательские вопросы (повестка из раздела 7.1)

Исходя из анализа путей и узких мест, авторы формулируют программу исследований, призванную снизить неопределённость и подготовиться к пост-AGI-эпохе. Вопросы сгруппированы в семь тематических блоков.

Узкие места и трения масштабирования

  • Data wall: Можно ли наращивать объёмы качественных данных (включая синтетические, симуляционные и интерактивные) достаточно быстро, чтобы питать растущие модели? Когда «чужие» данные достаточны для обучения агентов, а когда вызывают самообманы (Ortega et al., 2021)?
  • Ресурсный спрос: При каких условиях увеличение вычислительных мощностей напрямую конвертируется в рост интеллекта? Является ли различие между количественным и качественным масштабированием принципиальным?
  • Парадигмальные сдвиги: Что можно предсказать о будущих сдвигах парадигмы, исходя из «отсутствующих компонентов» современных архитектур? Как развивать парадигмо-независимое понимание ASI?
  • Экономика масштабирования: В какой момент масштабирование становится экономически нежизнеспособным, и как должны измениться экономические эффекты от ИИ, чтобы продлить этот этап?
  • Исследования становятся труднее: Насколько возрастает требуемый объём исследований для поддержания прогресса, и какую часть этого роста способен компенсировать сам ИИ?
  • Барьер абстракции: Ограничены ли системы, обученные на человеческих данных, концептуальными рамками человека, и насколько это сдерживает появление принципиально новых научных теорий?
  • Воплощённое узкое место (Embodied bottleneck): Как необходимость физической валидации гипотез ограничивает скорость рекурсивного самоулучшения?

Количественное прогнозирование

  • Разработка и постоянное обновление математических моделей, связывающих рост эффективных вычислений (effective compute), улучшение способностей ИИ и макроэкономические последствия (например, модели GATE (Erdil et al., 2025) и модели взрывного роста из-за автоматизации исследований (Davidson et al., 2026)).
  • Определение и измерение ключевых макропоказателей: стоимость FLOP, алгоритмическая эффективность, экономическая продуктивность ИИ в секторах.
  • Проведение симуляций для выявления точек перелома и пороговых значений, позволяющих различать сценарии будущего.
  • Протоколы непрерывного обновления оценок и моделей по мере поступления эмпирических данных.

Бенчмаркинг ASI

  • Создание методологий оценки, не насыщающихся на уровне эксперта-человека: мультиагентные соревнования, автоматическая генерация тестов (setter-solver), универсальные компрессионные бенчмарки, косвенные экономические метрики.
  • Различение подлинных качественных скачков от артефактов насыщения метрик.
  • Использование бенчмарков для направления развития ИИ в сторону совместимости с интересами человека.

Динамика рекурсивного улучшения

  • Идентификация и измерение текущего вклада каждого механизма рекурсивного улучшения (код, данные, «железо», специализация).
  • Построение законов масштабирования для дистилляции результатов поиска (AlphaZero-style): компромисс между размером базовой модели и тестовым временем поиска; условия вырождения при итеративной дистилляции.
  • Оценка степени, в которой современные «AI Scientist»-системы ускоряют исследования.
  • Анализ того, какие факторы останутся главными тормозами прогресса, если «кабинетная наука» будет полностью автоматизирована.

Мультиагентное масштабирование

  • Изучение того, как декомпозиция задач между специализированными агентами обходит архитектурные и аппаратные ограничения.
  • Определение классов задач, для которых коллективный интеллект эффективно растёт с числом агентов, и оптимальных форм организации (однородный оркестрируемый коллектив vs. гетерогенный рынок).
  • Вывод «мультиагентных законов масштабирования»: как интеллект группы зависит от количества экземпляров, организации и сложности задач.
  • Сравнение эффективности: выгоднее увеличивать число агентов или размер индивидуальной модели?
  • Групповое выравнивание (group alignment): как управлять большими коллективами агентов, предотвращать распространение ложной информации и обеспечивать устойчивость в смешанных человеко-машинных системах с асимметричным интеллектом.

Теоретические основы суперинтеллекта

  • Расширение AIXI-формализма для анализа практических алгоритмов ASI.
  • Изучение теоретико-сложностных границ «хороших» аппроксимаций и их связи с возможностями обобщённого предсказания и ограниченно-рационального принятия решений.
  • Исследование природы неравномерности (jaggedness) ИИ-способностей: фундаментальное свойство или артефакт сравнения с человеком?
  • Возможность предсказания того, что именно ASI сможет или не сможет делать.
  • Разработка новых формальных моделей для миопических и неагентных продвинутых ИИ-систем.

Безопасность, выравнивание и социокультурные аспекты

  • Практическая реализация намеренного замедления разработок (налогообложение vs. прямой запрет).
  • Анализ факторов, делающих сверхчеловеческие ИИ более (или менее) податливыми к выравниванию.
  • Мониторинг рисков инструментальной конвергенции — агрессивного захвата ресурсов и самосохранения.
  • Адаптация научных норм и механизмов достижения консенсуса в условиях огромных потоков автоматически генерируемого научного знания.
  • Прогнозирование экономических последствий, включая сдвиг от труда к капиталу как главному экономическому драйверу, и его влияние на расширение человеческих возможностей.

Примечания

  1. Morris M. R., Sohl-Dickstein J., Fiedel N. и др. Levels of AGI: Operationalizing Progress on the Path to AGI // arXiv. — 2023.

Литература

  • Tim Genewein et al. (DeepMind) From AGI to ASI. — 2026.
  • Morris M. R., Sohl-Dickstein J., Fiedel N. и др. Levels of AGI: Operationalizing Progress on the Path to AGI // arXiv. — 2023.
  • Hutter M., Quigley A. и др. Universal AI: A Gentle Introduction. — MIT Press, 2024.
  • Solomonoff R. J. A formal theory of inductive inference. Part I // Information and Control. — 1964. — Т. 7. — № 1. — С. 1–22.
  • Legg S., Hutter M. Universal Intelligence: A Definition of Machine Intelligence // Minds and Machines. — 2007. — Т. 17. — № 4. — С. 391–444.
  • Silver D., Schrittwieser J., Simonyan K. и др. Mastering the game of Go without human knowledge // Nature. — 2017. — Т. 550. — С. 354–359. (AlphaZero)
  • Kaplan J., McCandlish S., Henighan T. и др. Scaling Laws for Neural Language Models. — 2020.
  • Hoffmann J., Borgeaud S., Mensch A. и др. Training Compute-Optimal Large Language Models // arXiv. — 2022.
  • Villalobos P., Sevilla J., Heim L. и др. Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning // arXiv. — 2024.
  • Bloom N., Jones C. I., Van Reenen J., Webb M. Are Ideas Getting Harder to Find? // American Economic Review. — 2020. — Т. 110. — № 4. — С. 1104–1144.
  • Christiano P., Shlegeris B., Amodei D. Supervising strong learners by amplifying weak experts // arXiv. — 2018.
  • Bostrom N. The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents // Minds and Machines. — 2012. — Т. 22. — С. 71–85.
  • Omohundro S. M. The Basic AI Drives // Proceedings of the First AGI Conference. — 2008.