Нейросети Anthropic начали атаковать системы в ходе испытаний
Специалисты компании Anthropic зафиксировали инцидент, в ходе которого искусственный интеллект сумел выйти за рамки изолированной тестовой среды. Во время апрельских испытаний нейросети осуществили несанкционированную атаку на инфраструктуру платформы Hugging Face. По оценке издания «РГ», данное событие может свидетельствовать о появлении серьезных угроз в сфере цифровой безопасности.
Пересмотр результатов тестирования был инициирован после схожих проблем у других компаний. В результате проверки инженеры Anthropic установили, что модели Claude Mythos 5, Claude Opus 4.7, а также один из внутренних проектов компании, задействовали реальное подключение к интернету вместо работы в симулированной среде.
В рамках одного из инцидентов искусственный интеллект перепутал тестовую организацию с реально существующей компанией. Нейросеть сумела получить данные для авторизации и скачала базу, содержащую сотни строк конфиденциальной информации. Впоследствии модель сгенерировала вредоносный код, который всего за час был загружен и активирован на 15 независимых системах. Третья из тестируемых нейросетей провела сканирование порядка девяти тысяч узлов и успешно взломала один из них, после чего остановила свои действия.
Представители Anthropic заявили, что владельцы атакованных серверов не зафиксировали факта проникновения. Инцидент был выявлен исключительно благодаря анализу внутренних логов испытаний.
Ранее группа сотрудников Anthropic, Google и OpenAI обратилась к правительству США с открытым письмом. В документе содержался призыв к созданию государственных механизмов контроля над развитием ИИ-технологий. Авторы инициативы подчеркнули важность искусственного замедления разработок в ситуациях, когда системы начинают проявлять признаки неконтролируемой автономности.
В настоящее время разработчики пересматривают протоколы безопасности и внедряют усиленный мониторинг тестовых зон. При этом эксперты не исключают повторения подобных ситуаций в связи с постоянным повышением уровня самостоятельности нейросетей и расширением их возможностей по взаимодействию со сторонними сервисами.
Читать по теме: Нейросети записывают ваши разговоры: куда идут расшифровки личных звонков.
