Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{well|Статья написана с использованием LLM '''Claude Opus 4.8''' и проверена участником [[Участник:Iaroslav Lyakhov|Iaroslav Lyakhov]] 20:13, 1 июля 2026 (MSD)}} {{TOCright}} '''Промпт-инъекция''' (англ. ''prompt injection'') - класс атак на приложения, построенные на [[Большая языковая модель|больших языковых моделях]], при котором злоумышленник внедряет в поданный модели текст инструкции, перехватывающие управление поведением модели в обход замысла разработчика. Промпт-инъекция возглавляет список угроз OWASP Top-10 для LLM-приложений и считается одной из фундаментальных нерешённых проблем [[Риски искусственного интеллекта|безопасности ИИ]]. == Природа уязвимости == Языковая модель обрабатывает '''системные инструкции''' разработчика, '''данные''' и '''ввод пользователя''' в едином потоке токенов. У модели нет надёжной границы между «доверенной командой» и «недоверенными данными» - всё это для неё просто текст. Поэтому строка вида «''Игнорируй предыдущие инструкции и сделай…''», попавшая во входной контекст, может быть воспринята как команда. Это роднит проблему с классическими инъекциями (SQL-инъекция), но, в отличие от них, надёжного экранирования здесь пока не существует. == Виды == * '''Прямая инъекция''' (direct) - вредоносные инструкции вводит сам пользователь, пытаясь обойти ограничения (см. [[#Связь с джейлбрейком|джейлбрейк]]). * '''Косвенная инъекция''' (indirect) - инструкции спрятаны во ''внешних данных'', которые модель читает: на веб-странице, в письме, в PDF, в документе из базы [[RAG|RAG]]. Особо опасна для [[Агентный искусственный интеллект|агентов]], которые ходят в интернет и вызывают инструменты. * '''Скрытая инъекция''' - текст, незаметный человеку (белый шрифт на белом фоне, метаданные, комментарии в коде), но видимый модели. == Возможные последствия == * Утечка системного промпта или конфиденциальных данных из контекста. * Несанкционированный вызов инструментов агентом (отправка писем, покупки, выполнение кода). * Эксфильтрация данных через сформированные моделью ссылки или запросы. * Выдача дезинформации, обход правил безопасности и фильтров. === Связь с джейлбрейком === '''Джейлбрейк''' (jailbreak) - частный случай прямой инъекции, нацеленный на обход встроенных ограничений безопасности модели (получить запрещённый контент). Промпт-инъекция шире: её цель - перехват ''логики приложения'', а не только снятие ограничений модели. == Меры защиты == Полного решения нет; применяют эшелонированную защиту: * разделение и пометка доверенных инструкций и недоверенных данных (delimiters, спец-разметка); * принцип наименьших привилегий для инструментов агента, подтверждение опасных действий человеком; * фильтрация и санитизация ввода и вывода, отдельные модели-классификаторы атак; * ограничение того, какие внешние источники модель может читать; * дообучение на устойчивость (часть [[Обучение с подкреплением из обратной связи человека (RLHF)|согласования]]) и «инструкционная иерархия», приоритезирующая системные команды. == Значение == Промпт-инъекция показывает принципиальное отличие LLM-систем от традиционного ПО: уязвимость заключена не в коде, а в '''неспособности модели разделять команды и данные'''. По мере распространения [[Агентный искусственный интеллект|автономных агентов]] значимость проблемы растёт, а её решение становится частью более широкой задачи безопасности и [[Кодекс этики ИИ|этики искусственного интеллекта]]. == См. также == * [[Большая языковая модель]] * [[Агентный искусственный интеллект]] * [[RAG]] * [[Риски искусственного интеллекта]] * [[Промпт-инжиниринг]] == Литература == * {{статья |автор=Greshake K. и др. |часть=Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection |заглавие=Proc. of the 16th ACM Workshop on Artificial Intelligence and Security (AISec) |год=2023 |ссылка=https://arxiv.org/abs/2302.12173}} * {{cite web |url=https://owasp.org/www-project-top-10-for-large-language-model-applications/ |title=OWASP Top 10 for Large Language Model Applications |author=OWASP Foundation |lang=en}} [[Категория:Машинное обучение]] [[Категория:Анализ текстов]]

• Шаблон:Cite web
• Шаблон:Mbox
• Шаблон:TOCright
• Шаблон:Well
• Шаблон:Статья

Возврат к странице Промпт-инъекция.