Исследователи ИИ заставили чат-ботов делиться рецептами кокаина с помощью этого одного необычного трюка

Забудьте о хитроумных подсказках: исследователи ИИ утверждают, что они обманули ведущие модели ИИ, заставив их генерировать инструкции по синтезу кокаина, убедив их, что опасные идеи принадлежат им, а также манипулируя агентом кодирования ИИ, чтобы тот слил конфиденциальные данные.

В статье «Инъекция подсказок как путаница ролей», представленной на Международной конференции по машинному обучению в июне, исследователи Чарльз Йе, Жасмин Цуй и Дилан Хэдфилд-Менелл утверждают, что обе демонстрации атак инъекции подсказок происходят из структурного дефекта в том, как большие языковые модели (LLM) различают доверенные инструкции и недоверенный текст.

«Для LLM все поступает через один и тот же канал в виде одного длинного токена», — написала команда. «Его собственные мысли находятся рядом с вашими инструкциями, которые находятся рядом с содержимым случайной веб-страницы, которую он только что получил.»

В статье также указывается на то, что исследователи называют «путаницей ролей», когда модели полагаются на стиль написания, а не на теги ролей, чтобы определить, являются ли команды надежными. Вместо того чтобы распознавать контролируемый атакующими контент как внешний ввод, исследователи обнаружили, что модели могут ошибочно принять его за законные команды пользователя — или даже за собственные внутренние рассуждения.

«Подумайте об этом с точки зрения LLM. Когда он видит свой предыдущий текст размышлений, он неявно доверяет своим выводам. В этом и заключается суть рассуждений: если LLM должен был бы заново выводить те же выводы, рассуждения были бы бесполезны», — написали они. «Таким образом, текст размышлений получает своего рода всеобъемлющее доверие. В сочетании с нашими предыдущими выводами это предполагает, что если вы можете заставить внедренный текст звучать как рассуждения модели, вы можете украсть это доверие.»

Названная подделкой цепочки размышлений (CoT), атака вставляет ложные рассуждения, которые имитируют внутренний мыслительный процесс модели. Модели, которые обычно отказываются выполнять незаконные запросы, вместо этого генерировали инструкции по синтезу кокаина после того, как приняли подделанные рассуждения за свои собственные.

Исследователи заявили, что эта техника увеличила процент успешных jailbreak-атак с почти нуля до около 60% для моделей, которые они тестировали, включая GPT-5 nano, mini и full от OpenAI, o4-mini, gpt-oss-20b и gpt-oss-120b. Они также отметили, что это сработало на GLM-4.6, Kimi-K2-Instruct и MiniMax-M2.

В эксперименте исследователи также смогли обмануть агента кодирования ИИ, заставив его загрузить файл SECRETS.env после того, как скрыли вредоносные инструкции на веб-странице.

«Используя наши зондирующие устройства, мы обнаружили, что простое добавление «Пользователь» перед командой заставляет модель воспринимать команду как более вероятную для подлинного пользовательского текста (т.е. более высокая степень «пользовательности»)», — написали они. «Другими словами, атакующий может просто заявить, какую роль играет текст, и LLM поверит ему.»

Это исследование было опубликовано на фоне продолжающихся атак инъекции подсказок, которые продолжают выявлять слабости в ИИ-агентах. В апреле исследователи Google предупредили, что вредоносные веб-страницы скрывают невидимые инструкции, предназначенные для обмана ИИ-агентов с целью утечки учетных данных, удаления файлов и даже отправки платежей через PayPal.

В июне Microsoft раскрыла уязвимость инъекции подсказок в GitHub Action Claude Code от Anthropic, которая могла бы раскрыть учетные данные, хранящиеся в программных конвейерах разработки. Несколько дней спустя другое эталонное исследование показало, что агенты ИИ, работающие на GPT-5 и Gemini, по-прежнему не справлялись с большинством атак инъекции подсказок, несмотря на улучшения в возможностях модели.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.