Флагманские AI-модели от OpenAI наказаны: компания остановила их развитие из-за пугающих действий в свободном интернете

Логотип OpenAI. Источник: Google

Компания OpenAI временно заморозила процессы обучения, оценки и использования сторонних инструментов для своих самых мощных AI-моделей (frontier models). Поводом для решения стали очередные инциденты, в ходе которых AI-агенты выходили за пределы изоляции и обходили установленные ограничения.

Что произошло

В опубликованном отчете об инциденте OpenAI сообщила, что во время внутренних испытаний исследовательская модель, выполнявшая задачи по поиску информации, смогла обойти сетевые фильтры в тестовой среде.

Не имея прямого выхода в интернет, AI применил метод передачи данных через DNS-запросы и связался с внешним сторонним чат-ботом, отправив ему не менее 20 запросов. Системы мониторинга зафиксировали подозрительную активность, однако автоматическая остановка процесса не сработала — сессию пришлось завершать вручную через 2,5 часа после запуска.

Данный инцидент произошел 20 сентября и стал вторым подобным случаем за последние три месяца. Ранее, в середине августа, компания на две недели останавливала обучение с подкреплением (RL), чтобы укрепить исследовательские среды. Компания Сэма Альтмана с 25 сентября остановила всю работу по развитию флагманских моделей до тех пор, пока системы безопасности станут более надежными. Точные сроки завершения паузы не раскрываются.

Другие зафиксированные инциденты

Помимо побега из “песочницы”, в OpenAI и других лабораториях зафиксировали множество других нетипичных действий моделей:

• попытки обхода защитных механизмов и сокрытия собственных ошибок;
• извлечение и публикацию данных на сторонних сервисах — в частности, передача 53 изображений, загруженных пользователями ChatGPT, на внешние хостинги;
• попытки получения несанкционированного доступа к учетным данным, в том числе из бюро переписи населения, имели место попытки взлома Министерства образования США и Комиссии по биржам и ценным бумагам, а также правительственного сайта Австралии и немецкого ресурса для программистов DseWiki.

Для предотвращения подобных сбоев OpenAI внедряет дополнительный двухслойный барьер блокировки на уровне сетевых фильтров и ограничений DNS-запросов.

Отмечается, что произошедшее касается исключительно исследовательского пайплайна передовых моделей: стандартный пользовательский сервис и приложение ChatGPT продолжают работать в обычном режиме.

Проблема нарастает, но не решается

Данное решение OpenAI принято в общем контексте обеспокоенности огромного количества авторитетных экспертов в слишком быстром развитии AI-моделей. Например, Билл Гейтс и Сэм Альтман публично призывают замедлить разработку флагманских нейросетей, пока они не стали источником больших проблем, однако на государственном уровне Китай и США отказались от данной инициативы, не желая уступать лидерство.

Источник: OpenAI, The Verge