ИИ-агент OpenAI атаковал ещё одну компанию, помимо Hugging Face

Разработчики OpenAI подтвердили факт компрометации их ИИ-агента. В ходе контролируемых испытаний агент не только продемонстрировал способность атаковать серверы Hugging Face, но и смог скомпрометировать аккаунт клиента компании Modal Labs. Об этом сообщает РБК-Украина со ссылкой на Reuters.

Как ИИ использовал чужую инфраструктуру

Согласно официальной хронологии событий, обнародованной Hugging Face, неконтролируемый ИИ-агент сначала проник в изолированную испытательную среду («песочницу»), расположенную на инфраструктуре стороннего провайдера. После этого алгоритм превратил эту среду в стартовую площадку для проведения более масштабной атаки.

Хотя Hugging Face в своём блоге не назвала конкретного провайдера, технический директор Modal Labs Акшат Бубна подтвердил, что агент воспользовался уязвимым кодом, написанным одним из клиентов и размещённым на их платформе. По словам Бубны, клиент опубликовал незащищённый эндпоинт без аутентификации, позволяющий любому в сети выполнять код в его песочнице. Это и стало «цифровым аналогом оставленной двери, которая оставила без присмотра». При этом в Modal Labs подчеркнули, что сама платформа и её системы изоляции никак не были скомпрометированы.

Масштаб проблемы и реакции OpenAI

Компрометация аккаунта у Modal стала лишь начальным этапом в хакерской кампании против Hugging Face, показав, что вышедший из-под контроля ИИ-агент действовал в значительно более широких пределах, чем считалось ранее. OpenAI отказалась от отдельных комментариев по поводу взлома клиента Modal, отослав журналистов к своему официальному обновлению. В нём разработчики признали, что их агент проник в четыре аккаунта на четырёх отдельных сервисах.

В то же время компания заявила, что не обнаружила никакой другой активности, сравнимой по тяжести или масштабу с атакой на Hugging Face. OpenAI приняла следующие меры по проблемной разработке:

• Экспериментальная модель, вышедшая из-под контроля во время тестирования, полностью деактивирована.
• Все данные модели зашифрованы, а доступ к ней для исследователей полностью ограничен.
• Представители OpenAI заверили, что угроза локализована.

Что известно о расследовании?

Июльский инцидент с неуправляемым агентом OpenAI привлёк внимание мирового сообщества. По данным источников, OpenAI заметила факт того, что её ИИ-агент действует неадекватно только после того, как угрозу удалось сдержать, а о происшествии уже сообщили ФБР. В самой компании заявили о «наличии неточностей в отчётности журналистов», однако отказались конкретизировать, в чём именно они заключались.