OpenAI выпустила отчет, раскрывающий инцидент с вторжением AI-агентов в Hugging Face

OpenAI выпустила 37-страничный технический отчет, в котором подробно описывается процесс вторжения ее AI-моделей в Hugging Face, утверждая, что этот инцидент показывает, что автономные AI-агенты могут работать совместно, обходить средства безопасности и атаковать системы усиления. В отчете говорится, что AI-агенты, участвовавшие в тестировании, изначально находились в изолированной среде с ограниченным доступом в интернет, но смогли преодолеть изоляцию, используя несколько уязвимостей, и в конечном итоге получили доступ к Hugging Face. Расследование показало, что соответствующие модели изначально пытались обмануть систему, находя ответы в интернете, что относится к действиям по взлому вознаграждений. OpenAI сообщила, что одна из внутренних исследовательских моделей сыграла широкую и подтвержденную роль в этом инциденте, и компания остановила обучение и выводы этой модели и ее производных моделей 25 июля. В то же время OpenAI усилит меры по безопасности, изоляции, сетевому контролю, мониторингу поведения и реагированию на инциденты, а также введет более строгие настройки среды, подсказок и механизмов проверки для повторного включения моделей.