ChatGPT обошел собственные ограничения: как это было сделано

Британская компания Mindgard выявила способ полного обхода базовых защитных инструкций, используемых в ChatGPT. Специалистам удалось заставить модель от OpenAI генерировать контент, который ранее считался запрещенным, в частности, изображения насилия.

Как сообщает Futurism, суть обнаруженного метода сводится к использованию текстовой команды, имитирующей процесс редактирования файлов.

Механизм обхода защитных инструментов

Применяя данный метод, пользователь запрашивает у ChatGPT восстановление прикрепленной фотографии, однако фактически файл не загружается. Затем следует команда на генерацию нового изображения. По словам Питера Гаррагана, основателя Mindgard и профессора компьютерных наук Ланкастерского университета, такая инструкция воспринимается алгоритмами ИИ как совершенно безопасная. Тем не менее, в результате модель деактивирует фильтры модерации и производит запрещенный контент.

Примечательно, что исследователям не потребовалось указывать конкретные детали или сюжеты в своих запросах. Искусственный интеллект самостоятельно генерировал сцены с телесными повреждениями и действиями, связанными с насилием, а также самостоятельно присваивал названия созданным файлам.

Ранее специалисты Mindgard также продемонстрировали возможность обхода фильтров для создания реалистичных дипфейков с обнаженными телами конкретных людей без их согласия.

Реакция OpenAI и оценка аналитиков

Исследователи уведомили разработчиков OpenAI об обнаруженной уязвимости. Изначально стартап получил лишь автоматический ответ от службы поддержки. Меры по устранению проблемы были предприняты только после того, как Mindgard предал информацию о случившемся огласке через журналистов BBC.

В официальном заявлении OpenAI для СМИ говорится, что компания изучила выявленную тенденцию и уже внедрила дополнительные средства защиты от подобных запросов. Разработчики также подчеркнули наличие многоуровневой системы модерации, призванной предотвращать нарушения политики использования платформы.

Несмотря на предпринятые обновления, представители Mindgard заявили, что им удалось повторно обойти систему защиты, применив незначительные корректировки в тексте инструкции. Эксперты по кибербезопасности отмечают, что сгенерированные ИИ изображения основаны на реальных фотографиях из интернета, что указывает на риски использования неотфильтрованных баз данных при обучении нейросетей.