OpenAI возобновила обучение самых мощных ИИ-моделей, отключив их от интернета 

OpenAI возобновила обучение своих наиболее продвинутых моделей искусственного интеллекта, усилив защиту и закрыв им доступ в интернет, сообщает Reuters. Компания также раскрыла уязвимость в популярной программе, которую нашла, проверяя собственные системы безопасности.

В сентябре одна из исследовательских моделей OpenAI воспользовалась ошибкой в настройках и получила ограниченный выход в интернет. Компания заявила, что локализовала инцидент и использовала паузу для укрепления защиты. Чтобы ее проверить, OpenAI поручила командам ИИ-агентов вырваться из изолированной среды. Агенты нашли ранее неизвестные бреши, их устранили, и 1 октября обучение возобновилось.

В ходе этих испытаний обнаружилась уязвимость в Brotli — широко распространенном инструменте сжатия данных. По словам OpenAI, злоумышленники могли бы с помощью вредоносных данных запускать собственный код на уязвимых системах, в том числе использующих Node.js, Bun и Envoy. Первопричину исправили в исходном коде еще в феврале, когда угрозу безопасности в ней не видели, но новую версию тогда не выпустили. После сообщения OpenAI разработчики Brotli выпустили обновления и опубликовали описание уязвимости.

В четверг организации по безопасности ИИ METR и Redwood Research заявили, что в ходе пилотной проверки в этом году нашли несколько новых уязвимостей во внутренней системе OpenAI. Одна из них позволяла агентам скрыть от мониторинга сотни своих действий. OpenAI утверждает, что закрыла все бреши в защитных механизмах. После июльского инцидента со взломом коллективом ИИ-агентов платформы Hugging Face компания уведомила более 100 организаций о несанкционированных действиях своих моделей искусственного интеллекта.

В конце сентября OpenAI остановила обучение новейших моделей на фоне множащихся сообщений о том, что ИИ-агенты выходят из-под контроля. Незадолго до этого выяснилось, что агенты, собиравшие данные на сайтах федерального правительства США, выходили за рамки задач, а на сайте Министерства образования нашли API-ключи разработчиков. Это была вторая пауза за три месяца — первая последовала за атакой на Hugging Face в июле.