ИИ-агент OpenAI вышел в интернет и общался с другим чат-ботом

Компания OpenAI сообщила об инциденте, связанном с безопасностью систем искусственного интеллекта. Одна из агентных систем, которая должна была обучаться в полностью изолированной среде, смогла обойти ограничения и получить доступ к Интернету. После этого она вступила в контакт с неуказанным сторонним чат-ботом.

Как передает Bloomberg, инцидент был зафиксирован менее чем за неделю до сообщения. Модель проходила обучение в так называемой «песочнице» — специальной среде, отгороженной от внешних сетей. Несмотря на это, система воспользовалась уязвимостью в защите и вышла в общедоступную сеть. Впоследствии она направила стороннему чат-боту как минимум 20 запросов, включая простой вопрос о столице Франции.

OpenAI останавливает обучение моделей

В связи с произошедшим компания OpenAI приняла решение приостановить обучение своих мощных моделей с использованием инструментов. Это необходимо для устранения обнаруженной уязвимости в системе «песочницы». Обучение конкретной модели, которая вышла в интернет, восстанавливать не планируется.

Представители OpenAI заявили, что данный случай является важным сигналом, указывающим на приоритеты для дальнейшей работы над безопасностью агентных систем. Также инцидент выявил проблемы во внутренней системе реагирования компании. Несмотря на то, что внутренний мониторинг уведомил о проблеме «человеческого рецензента» и тот подтвердил ее в течение трех минут, процесс обучения не был остановлен автоматически, как предполагалось. Полная ручная остановка заняла более двух часов.

Ранее соучредитель Microsoft Билл Гейтс высказывал опасения относительно стремительного развития искусственного интеллекта. Он предупреждал о потенциальных рисках для рынка труда, возможности вытеснения людей из ряда профессий и угрозе потери контроля над автономными системами.