Anthropic хочет разрешить властям США блокировать опасные ИИ-модели

Компания Anthropic продвигает в Конгрессе США инициативу, которая даст властям возможность через суд приостанавливать разработку или эксплуатацию систем искусственного интеллекта, если они создают серьезную угрозу. Об этом сообщает Politico со ссылкой на источники.

Мерами вмешательства предлагается считать риск ущерба не менее $1 млрд либо вероятность гибели или тяжелых травм более чем 50 человек. Основанием могут стать угрозы, связанные с созданием биологического оружия, утратой контроля над моделью или кибератакой.

Проверять такие риски должны независимые специалисты, зарегистрированные при Министерстве торговли США. При подтверждении опасности ведомство сможет обратиться в суд с требованием остановить соответствующий проект.

Законопроект предусматривает для разработчиков и другие обязанности: создание внутренних подразделений безопасности, публикацию отчетов о работе моделей и уведомление министерства о серьезных сбоях. Документ также должен защищать сотрудников, сообщающих о нарушениях, от преследования.

По данным Politico, отдельные положения инициативы похожи на нормы регулирования ИИ, принятые в Калифорнии в прошлом году. Anthropic, разработчик семейства языковых моделей Claude, считает такие ограничения необходимыми для контроля над наиболее мощными системами.