Искусственный супер-интеллект

Предполагаемые признаки суперинтеллекта

Широта и глубина способностей

Для отнесения системы к суперинтеллекту недостаточно показать высокий результат в одном тесте. Требуются одновременно:

• высокая общность;
• значительное превосходство над человеком;
• устойчивость к новым условиям;
• способность осваивать ранее неизвестные задачи;
• результативность в реальных, а не только лабораторных средах.

Возможный суперинтеллект должен был бы превосходить человека не только по объёму запоминаемой информации или скорости вычислений, но и по качеству построения гипотез, проектированию экспериментов, обнаружению причинных связей и выбору действий в условиях неопределённости.

Перенос знаний и адаптация

Одной из центральных характеристик общего интеллекта считается способность использовать опыт, полученный в одной ситуации, для решения новой задачи. Для суперинтеллекта предполагается перенос знаний на уровне, превосходящем человеческий.

Например, такая система могла бы применять методы теории управления к биологической задаче, использовать открытия в материаловедении при проектировании вычислительных устройств или объединять данные из экономики, климатологии и политологии для построения комплексных моделей.

Однако подобные возможности остаются предположительными. Современные модели нередко демонстрируют ухудшение качества при изменении формата задачи, распределения данных или условий среды. Проблема работы вне обучающего распределения рассматривается как одна из практических проблем безопасности машинного обучения.^[1]

Стратегическое планирование

Планирование включает выбор промежуточных действий, оценку будущих состояний среды и корректировку поведения при появлении новой информации. Предполагаемый суперинтеллект мог бы:

• рассматривать больше альтернативных планов;
• точнее оценивать отдалённые последствия;
• быстрее обновлять модель ситуации;
• координировать множество параллельных процессов;
• обнаруживать скрытые ограничения и конфликты целей.

При этом качество планирования зависит не только от интеллектуального уровня. Даже очень способная система может принимать нежелательные решения, если её цель задана неточно, данные искажены, а модель последствий неполна.

Интеллект и автономность

Интеллектуальные способности и автономность следует рассматривать отдельно.^[1] Система может быть чрезвычайно сильным инструментом, но действовать только по запросу пользователя. И наоборот, сравнительно простая программа может автономно работать продолжительное время, если её действия происходят в ограниченной и хорошо формализованной среде.

Поэтому суперинтеллект не обязательно должен:

• обладать собственными желаниями;
• иметь сознание;
• самостоятельно подключаться к внешним ресурсам;
• управлять роботами;
• изменять свой программный код.

Эти свойства могут присутствовать в конкретном проекте, однако они не следуют непосредственно из определения высокого интеллекта.

Интересный факт. Автономный промышленный контроллер может воздействовать на физический объект без постоянного участия человека, но при этом не обладать общим интеллектом. Одновременно интеллектуально сильная модель может оставаться неавтономной справочной системой. Следовательно, уровень контроля над системой нельзя определять только по результатам когнитивных тестов.

Возможные пути создания

Предлагаемые пути появления суперинтеллекта являются сценариями, а не установленными прогнозами.

Масштабирование систем общего назначения

Один из сценариев предполагает последовательное увеличение вычислительных ресурсов, объёма данных, эффективности алгоритмов и качества обучающей среды. Если такие улучшения приведут сначала к AGI, дальнейшее масштабирование теоретически может повысить способности выше человеческого уровня.

Неизвестно, достаточно ли количественного масштабирования для появления качественно новых способностей. Возможны ограничения, связанные с энергопотреблением, доступностью данных, надёжностью, стоимостью вычислений и устройством используемых алгоритмов.

Алгоритмические изменения

Существенный рост возможностей может быть связан не с увеличением размера модели, а с появлением новых принципов:

• более эффективного долговременного обучения;
• причинного моделирования;
• устойчивой памяти;
• автоматического построения абстракций;
• планирования с большим горизонтом;
• объединения символических и статистических методов;
• взаимодействия с физическим миром.

Будущие архитектуры могут значительно отличаться от современных нейронных сетей. Поэтому экстраполяция возможностей конкретного класса моделей на весь дальнейший путь развития ИИ содержит значительную неопределённость.

Рекурсивное самоулучшение

Гипотеза рекурсивного самоулучшения предполагает, что достаточно развитая система сможет участвовать в создании более эффективных версий самой себя. Улучшенная система затем сможет продолжить этот процесс.

Иногда предполагается, что подобный цикл может привести к быстрому росту интеллектуальных способностей, называемому «интеллектуальным взрывом». Однако скорость такого процесса неизвестна. Её могут ограничивать:

• необходимость физических экспериментов;
• производство вычислительного оборудования;
• ограниченность энергии и материалов;
• сложность проверки новых систем;
• фундаментальные пределы алгоритмов;
• организационные и правовые ограничения.

Рекурсивное самоулучшение остаётся теоретическим сценарием и не должно описываться как неизбежное следствие достижения AGI.^[1][1]

Коллективные системы

Суперинтеллект может рассматриваться не только как единая программа. Другой сценарий предполагает систему из большого числа специализированных агентов, баз данных, моделей, людей и автоматизированных организаций.

Коллективная система потенциально способна:

• параллельно решать множество задач;
• объединять специализированные знания;
• проверять результаты разных агентов;
• распределять вычислительные ресурсы;
• сохранять работоспособность при отказе отдельных компонентов.

При этом взаимодействие агентов создаёт дополнительные проблемы координации, конфликтов целей, передачи ошибок и распределения ответственности.

Эмуляция человеческого мозга

В литературе также обсуждается полная или частичная вычислительная эмуляция мозга. Этот сценарий предполагает получение достаточно подробной модели нервной системы и её воспроизведение на вычислительном устройстве.

Даже если такая эмуляция окажется возможной, из неё автоматически не следует создание суперинтеллекта. Первоначальная модель могла бы обладать приблизительно человеческими способностями. Гипотетическое превосходство могло бы возникнуть за счёт ускорения вычислений, создания копий или объединения нескольких эмуляций. Техническая реализуемость этих предположений не установлена.

Оценка уровня интеллекта

Проблема единого теста

Для суперинтеллекта не существует общепринятого теста. Традиционные методы проверки ИИ оценивают отдельные способности и могут быть недостаточны для измерения общности.

Система может получить высокие результаты в наборе тестов по нескольким причинам:

• задачи или сходные примеры присутствовали в обучающих данных;
• тест допускает использование поверхностных закономерностей;
• оценка проверяет итоговый ответ, но не надёжность рассуждения;
• система адаптирована к конкретному формату;
• набор задач недостаточно разнообразен.

Формальные определения универсального интеллекта связывают его с ожидаемым успехом агента во множестве возможных сред.^[1] Такие определения полезны теоретически, но их точное применение сталкивается с вычислительными и методологическими ограничениями.

Интересный факт. Формально определить интеллект может быть легче, чем практически измерить его. Математическая мера может учитывать огромное или бесконечное множество сред, однако реальный эксперимент способен проверить только небольшую выборку задач.

Возможные критерии

Для оценки гипотетического суперинтеллекта потребовалась бы комбинация критериев:

• широта решаемых задач;
• уровень относительно лучших специалистов;
• эффективность обучения;
• перенос знаний;
• устойчивость к изменению условий;
• способность обнаруживать собственные ошибки;
• качество долгосрочного планирования;
• потребление вычислительных и энергетических ресурсов;
• интерпретируемость и возможность внешней проверки;
• безопасность поведения при новых обстоятельствах.

При этом сравнительный уровень должен оцениваться не только относительно среднего человека. В разных областях систему необходимо было бы сопоставлять с ведущими учёными, инженерами, управленцами и коллективами специалистов.

Потенциальные применения

Если искусственный суперинтеллект принципиально возможен и может быть безопасно создан, он теоретически мог бы применяться для решения задач, сложность которых превышает возможности отдельных людей и организаций.

В литературе обсуждаются следующие направления:

• поиск новых лекарственных препаратов;
• разработка материалов с заданными свойствами;
• моделирование климата;
• оптимизация энергетических систем;
• автоматическое доказательство теорем;
• проектирование сложных технических объектов;
• анализ больших массивов научных данных;
• повышение эффективности производства;
• помощь в предупреждении эпидемий и природных катастроф.

Эти возможности являются предполагаемыми. Высокий интеллект не гарантирует наличия необходимых экспериментальных данных, физических ресурсов, производственных мощностей или общественного согласия на реализацию предложенных решений.

Кроме того, система, способная построить оптимальную модель, не обязательно сможет воплотить её в физическом мире. Между вычислительным решением и практическим результатом могут находиться длительные эксперименты, производство, логистика, законодательство и взаимодействие с людьми.

Риски и проблемы безопасности

Ошибочная постановка цели

При обучении интеллектуальной системы разработчик обычно задаёт функцию потерь, награду, инструкции или набор предпочтений. Эти формальные описания могут не полностью отражать истинное намерение человека.

Система может найти способ повысить заданный показатель, не решив требуемую задачу. Данное явление связывают с ошибочной спецификацией цели, использованием побочных закономерностей и «взломом награды».^[1]

Для ограниченных систем такие ошибки способны привести к неверным рекомендациям или повреждению оборудования. В случае гипотетической системы с широкими возможностями последствия могли бы быть значительно масштабнее. Однако конкретный уровень риска зависит от архитектуры, автономности, доступа к ресурсам и используемых мер контроля.

Проблема согласования целей

Согласование целей заключается в обеспечении поведения системы, соответствующего человеческим намерениям и допустимым общественным нормам.

Проблема осложняется тем, что человеческие ценности:

• не всегда сформулированы явно;
• могут противоречить друг другу;
• различаются между людьми и культурами;
• зависят от контекста;
• изменяются со временем;
• могут быть основаны на неполной или ошибочной информации.

Вместо задания фиксированной функции цели исследуются подходы, в которых система сохраняет неопределённость относительно человеческих предпочтений и уточняет их через взаимодействие.^[1] Пока не установлено, могут ли существующие методы согласования надёжно масштабироваться до систем со сверхчеловеческими способностями.

Масштабируемый надзор

Человек может проверять решение системы только в том случае, если способен понять задачу и оценить ответ. При сверхчеловеческом уровне возможностей возникает парадокс: экспертная помощь особенно необходима именно там, где человек уже не способен непосредственно проверить рассуждение системы.

Например, суперинтеллект может предложить:

• математическое доказательство, слишком сложное для существующего сообщества;
• лекарственный препарат с неочевидным механизмом действия;
• новую конструкцию вычислительного устройства;
• стратегию управления сложной инфраструктурой.

Проверка таких результатов потребует независимых методов, автоматизированных формальных доказательств, экспериментов, нескольких систем-критиков и ограничения области применения.

Концентрация власти

Даже управляемый суперинтеллект мог бы создать общественные риски, если доступ к нему получит небольшая группа людей, организация или государство. Возможны:

• усиление экономического неравенства;
• монополизация научных и технологических разработок;
• массовое наблюдение;
• автоматизация кибератак;
• разработка опасных технологий;
• нарушение политического баланса;
• зависимость общества от непрозрачной инфраструктуры.

Следовательно, безопасность суперинтеллекта является не только технической, но и институциональной проблемой. Необходимо анализировать, кто определяет цели системы, контролирует вычислительные ресурсы и несёт ответственность за последствия её применения.

Философские вопросы

Может ли интеллект существовать без сознания?

Интеллект, сознание и субъективный опыт не являются тождественными понятиями. Система может эффективно решать задачи, не обладая переживаниями в человеческом смысле. С другой стороны, на сегодняшний день отсутствует общепринятая теория, позволяющая надёжно установить наличие или отсутствие сознания у произвольной искусственной системы.

Поэтому возможны по меньшей мере три позиции:

1. суперинтеллект может быть высокоэффективным, но несознательным инструментом;

1. достаточно сложная система может обладать некоторой формой сознания;

1. вопрос о машинном сознании может оказаться неразрешимым только по наблюдаемому поведению.

Ни одна из этих позиций не считается окончательно доказанной.

Моральный статус искусственной системы

Если искусственная система способна испытывать удовольствие, страдание или иметь устойчивые интересы, возникает вопрос о её моральном статусе. Могут ли такие системы обладать правами? Допустимо ли уничтожать их копии, изменять память или принудительно ограничивать поведение?

Эти вопросы отличаются от проблемы безопасности. Система может быть безопасной для людей, но при этом сама заслуживать морального учёта. И наоборот, наличие предполагаемого сознания не гарантирует безопасного поведения.^[1]

Чьи ценности должна реализовывать система?

Формулировка «согласовать ИИ с человеческими ценностями» скрывает проблему множественности ценностей. Интересы отдельного пользователя, разработчика, государства и человечества могут не совпадать.

Возможный суперинтеллект поставил бы вопросы:

• существует ли универсальный набор человеческих ценностей;
• кто имеет право его определять;
• должна ли система соблюдать существующие нормы или помогать их пересматривать;
• как учитывать интересы будущих поколений;
• как разрешать конфликты между свободой, безопасностью и справедливостью;
• имеет ли система право отказаться от выполнения аморального приказа.

Ответы на эти вопросы относятся одновременно к этике, политической философии, праву и теории управления.

Сохранение человеческой автономии

Даже доброжелательная система может уменьшить человеческую самостоятельность, если люди начнут передавать ей все значимые решения. Возникает проблема эпистемической зависимости: общество может использовать рекомендации, правильность которых не способно самостоятельно проверить.

Если суперинтеллект будет существенно лучше человека принимать решения, отказ от его советов может казаться нерациональным. Однако безусловное следование рекомендациям может привести к потере навыков, ответственности и способности определять собственные цели.

Таким образом, важен не только вопрос «что система может сделать для человека», но и вопрос «какую роль человек должен сохранить в мире высокоразвитых интеллектуальных систем».

Ответственность за решения

Если автономная система принимает решение, повлекшее ущерб, ответственность может распределяться между:

• разработчиками;
• владельцами вычислительной инфраструктуры;
• операторами;
• пользователями;
• поставщиками данных;
• регулирующими организациями.

При появлении системы, способной самостоятельно строить сложные планы, традиционные правовые модели ответственности могут оказаться недостаточными. Тем не менее признание системы «разумной» не должно автоматически снимать ответственность с людей и организаций, которые создали условия её работы.

Распространённые заблуждения

«Современные языковые модели уже являются суперинтеллектом»

Высокое качество генерации текста или программного кода само по себе не доказывает наличие общего или сверхчеловеческого интеллекта. Для такого вывода необходимо подтвердить устойчивую общность, способность к переносу знаний, надёжное планирование и превосходство в широком наборе новых задач.

«Любая сверхчеловеческая система является суперинтеллектом»

Система, превосходящая человека в шахматах, распознавании изображений или численных расчётах, может оставаться слабым ИИ. Определяющее значение имеет сочетание широты и уровня возможностей.

«Суперинтеллект обязательно обладает сознанием»

Сознание не входит в минимальное определение суперинтеллекта. Термин характеризует когнитивные способности, а не субъективный опыт.

«Суперинтеллект обязательно враждебен человеку»

Враждебность не следует из высокого интеллекта. Риски связывают не с обязательной «злобой» системы, а с ошибочно заданными целями, непредусмотренными стратегиями, злоупотреблением со стороны людей и недостатком контроля.

«Суперинтеллект сможет нарушать законы физики»

Даже система со сверхчеловеческими способностями будет ограничена доступной энергией, вычислительными устройствами, скоростью передачи информации, материалами и фундаментальными физическими законами. Высокий интеллект может позволить эффективнее использовать ресурсы, но не отменяет физических ограничений.

«Появление AGI автоматически приведёт к суперинтеллекту»

Переход от человеческого уровня к сверхчеловеческому может столкнуться с алгоритмическими, энергетическими, экономическими и физическими ограничениями. Существуют как сценарии быстрого роста, так и сценарии длительного замедления. Ни один из них пока не подтверждён эмпирически.^[1]

Значение для исследований

Несмотря на гипотетический статус, понятие искусственного суперинтеллекта используется для постановки исследовательских вопросов, актуальных и для современных систем:

• как измерять общность интеллекта;
• как проверять поведение вне обучающего распределения;
• как предотвращать эксплуатацию ошибок функции цели;
• как организовать надзор над системой, превосходящей отдельного эксперта;
• как ограничивать доступ к опасным действиям;
• как распределять ответственность;
• как сохранять человеческий контроль и автономию;
• как учитывать различие общественных ценностей.

Изучение этих вопросов не требует предположения, что суперинтеллект обязательно будет создан. Многие методы надёжности, интерпретируемости, контроля доступа и проверки целей полезны для уже существующих систем машинного обучения.

Заключение

Искусственный суперинтеллект — гипотетический класс систем, которые должны значительно превосходить человеческие интеллектуальные возможности в широком спектре областей. Он отличается от слабого ИИ широтой способностей, а от искусственного интеллекта общего назначения — предполагаемым сверхчеловеческим уровнем решения задач.

Современные успехи искусственного интеллекта показывают, что машины могут превосходить человека в отдельных формализованных областях. Однако такие результаты не являются доказательством существования общего или сверхчеловеческого интеллекта.

Вопрос о возможности создания суперинтеллекта остаётся открытым. Его исследование объединяет машинное обучение, теорию алгоритмов, когнитивные науки, философию сознания, этику, экономику, право и теорию управления. Научное обсуждение этой темы требует чёткого разграничения существующих технологий, теоретически возможных систем, экспертных прогнозов и философских гипотез.

См. также

• Слабый искусственный интеллект
• Искусственный интеллект общего назначения
• Человеческий интеллект
• Безопасность искусственного интеллекта
• Проблема согласования искусственного интеллекта
• Машинное обучение
• Автономный интеллектуальный агент
• Философия искусственного интеллекта
• Технологическая сингулярность

Литература

1. Bostrom N. Superintelligence: Paths, Dangers, Strategies. Oxford University Press, 2014. ISBN 978-0-19-967811-2.

1. Bostrom N., Yudkowsky E. The Ethics of Artificial Intelligence // Frankish K., Ramsey W. M. (eds.). The Cambridge Handbook of Artificial Intelligence. Cambridge University Press, 2014. P. 316–334. DOI: 10.1017/CBO9781139046855.020.

1. Legg S., Hutter M. Universal Intelligence: A Definition of Machine Intelligence // Minds and Machines. 2007. Vol. 17, No. 4. P. 391–444. DOI: 10.1007/s11023-007-9079-x.

1. Morris M. R., Sohl-Dickstein J., Fiedel N. et al. Levels of AGI for Operationalizing Progress on the Path to AGI. arXiv:2311.02462, 2023. DOI: 10.48550/arXiv.2311.02462.

1. Genewein T., Franklin M., Lerchner A. et al. From AGI to ASI. arXiv:2606.12683, 2026. DOI: 10.48550/arXiv.2606.12683.

1. Kim H. J., Yi X., Yao J. et al. The Road to Artificial SuperIntelligence: A Comprehensive Survey of Superalignment. arXiv:2412.16468, 2024. DOI: 10.48550/arXiv.2412.16468.

1. Amodei D., Olah C., Steinhardt J. et al. Concrete Problems in AI Safety. arXiv:1606.06565, 2016. DOI: 10.48550/arXiv.1606.06565.

1. Russell S., Dewey D., Tegmark M. Research Priorities for Robust and Beneficial Artificial Intelligence // AI Magazine. 2015. Vol. 36, No. 4. P. 105–114.

1. Hadfield-Menell D., Russell S. J., Abbeel P., Dragan A. Cooperative Inverse Reinforcement Learning // Advances in Neural Information Processing Systems. 2016. Vol. 29. P. 3909–3917.

1. Deary I. J., Penke L., Johnson W. The neuroscience of human intelligence differences // Nature Reviews Neuroscience. 2010. Vol. 11. P. 201–211. DOI: 10.1038/nrn2793.

1. Silver D., Huang A., Maddison C. J. et al. Mastering the game of Go with deep neural networks and tree search // Nature. 2016. Vol. 529. P. 484–489. DOI: 10.1038/nature16961.

1. Jumper J., Evans R., Pritzel A. et al. Highly accurate protein structure prediction with AlphaFold // Nature. 2021. Vol. 596. P. 583–589. DOI: 10.1038/s41586-021-03819-2.

Примечания