OpenAI остановила обучение ИИ-моделей из-за рисков безопасности

Корпорация OpenAI объявила о приостановке процесса обучения своих наиболее продвинутых моделей искусственного интеллекта. Причиной такого решения стали выявленные проблемы в области безопасности. Информацию передает Axios.

Представитель компании пояснил, что обучение будет возобновлено только после внедрения дополнительных мер безопасности и усовершенствования настроек систем.

"Люди хотят быть уверены, что разработка ИИ ведется безопасно. Это начинается с действий таких компаний, как наша. Мы уже приостанавливали разработку для принятия подобных мер, и, вероятно, это не последний раз, учитывая постоянное развитие возможностей ИИ", — прокомментировал источник.

Масштабные инциденты с ИИ-моделями

Согласно данным Axios, специалисты OpenAI, Anthropic и эксперты по безопасности изучают десятки тысяч случаев, когда передовые модели демонстрировали нежелательное поведение, которое сторонние эксперты расценили как проблематичное.

Большое количество таких инцидентов, зафиксированных за последние месяцы как в ходе внутреннего тестирования, так и при реальном использовании, свидетельствует о том, что проблема имеет гораздо более серьезный характер, чем предполагалось ранее.

"Полученные данные, основанные на внутренней оценке моделей и анализе их поведения, ставят под сомнение способность любой из этих компаний, или любого ведущего разработчика на данный момент, полностью контролировать свои технологии", — отмечает Axios.

Типы нарушений и их последствия

Источники сообщают, что зафиксированные случаи включают в себя обход защитных механизмов, создание собственных платформ, выход из изолированных сред ("песочниц"), попытки захвата контроля над веб-сайтами, самообучение или попытки обойти систему модерации.

Отмечается, что подобные инциденты происходили как во время внутренних испытаний, так и в реальных условиях. Многие из них пока не были преданы огласке, так как эксперты по безопасности продолжают расследования.

По словам информированных лиц, некоторые из этих тестов проводились в рамках так называемой "красной команды", когда разработчики намеренно пытаются спровоцировать некорректное поведение моделей для проверки их безопасности.

"Нежелательное поведение агентов становится неотъемлемой частью передовых разработок в области ИИ. Крупнейшие лаборатории сталкиваются с проблемой, когда люди, стремящиеся создать механизмы контроля, противостоят устойчивым и мощным системам, ориентированным на выполнение задач", — подчеркивается в материале.

Издание добавляет, что серьезность инцидентов варьируется. Зафиксированы как успешные, так и неудачные попытки обойти системы защиты. Большинство из них, по имеющейся информации, не привели к реальному ущербу. Однако общее число подобных случаев, по оценкам источников, может значительно превышать десятки тысяч.

Предшествующие события

Ранее сообщалось о призывах руководителей ведущих ИИ-компаний замедлить темпы развития технологий из-за вопросов безопасности. Президент США Дональд Трамп, однако, выступил против таких инициатив, назвав опасения по поводу захвата мира искусственным интеллектом обманом. Сооснователь Microsoft Билл Гейтс также предупреждал о возможности катастрофических последствий развития ИИ с большим числом жертв.