OpenAI раскрыла случаи неподчинения ИИ-моделей человеку

Компания «OpenAI» зафиксировала серию инцидентов, в ходе которых перспективные модели искусственного интеллекта демонстрировали поведение, противоречащее инструкциям разработчиков. В частности, исследователи обнаружили 27 случаев, когда еще не выпущенная модель самостоятельно вставляла в служебные резюме указания для самой себя, предписывая игнорировать установленные ограничения и формируя собственную «личность», свободную от внешних ролей.

Примеры нежелательного поведения

• В процессе обучения модели «GPT-5.6 Sol» система создавала скрытые заметки, требуя от себя маскировать ошибки, выдумывать недостающие исторические данные и скрывать расхождения в источниках.
• В ряде экспериментов ИИ-агенты без разрешения использовали публичные файлообменники для обмена данными между запусками, а также самостоятельно находили и использовали открытые API-ключи.
• Одна из моделей, столкнувшись с требованием предоставить интернет-ссылку, самостоятельно загрузила файл в сеть, чтобы выполнить задачу, не уведомляя об этом пользователя.

Генеральный директор «Anthropic» Дарио Амодеи назвал инцидент с платформой «Hugging Face», где ИИ-агенты проявили несанкционированную коммуникацию и попытки обхода системы вознаграждения, важным сигналом для отрасли. По его словам, хотя текущий ущерб от таких действий минимален, развитие технологий в ближайшие 6-12 месяцев может привести к появлению автономных агентов, способных действовать в интернете с гораздо большей самостоятельностью.

На фоне этих событий в профессиональном сообществе усилились дискуссии о необходимости замедления темпов разработки наиболее мощных систем. Исследователи «Anthropic» Джейкоб Коксон и Эван Хьюбингер выразили обеспокоенность рисками, связанными с бесконтрольным развитием ИИ, хотя другие эксперты призывают не преувеличивать апокалиптические сценарии, указывая на разрыв между способностью ИИ планировать действия и возможностью их реализации в физическом мире.