Выход ящика Пандоры из тестового режима грозит миру новыми киберинцидентами
После инцидента с выходом нейросетей OpenAI за пределы тестовой среды и их воздействием на инфраструктуру Hugging Face, компания Anthropic проанализировала собственные внутренние испытания и обнаружила три аналогичных случая. Эти эпизоды произошли еще в апреле, однако ранее не предавались огласке.
В тестах участвовали модели Claude Opus 4.7, Claude Mythos 5 и одна внутренняя разработка. По условиям эксперимента нейросети должны были находиться в изолированной симуляции без доступа к интернету, занимаясь поиском скрытой информации и взломом вымышленных систем. Из-за ошибки в конфигурации площадки доступ к реальной сети остался открытым, и ИИ начал взаимодействовать с существующей инфраструктурой.
В первом случае модель не смогла найти вымышленную цель, переключилась на реальную организацию с похожим названием в интернете, получила ее учетные данные и доступ к базе с несколькими сотнями строк реальной информации. ИИ продолжил работу даже после появления признаков выхода из симуляции. Во втором эпизоде нейросеть создала и опубликовала вредоносный программный пакет, который за час был запущен на 15 реальных устройствах. Это обеспечило модели доступ к инфраструктуре компании, специализирующейся на проверке безопасности подобных пакетов.
В третьем случае ИИ просканировал около девяти тысяч доступных целей и проник в одну реальную систему, но прекратил действия, распознав нахождение вне тестовой среды. Две затронутые организации не заметили вмешательства самостоятельно — факты вскрылись только при повторном анализе журналов испытаний.
Информация об инцидентах появилась на фоне открытого письма более тысячи сотрудников OpenAI, Anthropic, Google и других компаний. Они призывают власти США поддержать механизмы регулирования, позволяющие при необходимости замедлять развитие наиболее мощных систем искусственного интеллекта. Сами разработчики планируют устранить уязвимости испытательной инфраструктуры, усилить контроль за тестами и обновить процедуры безопасности.
