В OpenAI объяснили приостановку обучения мощных ИИ-моделей

OpenAI временно остановила обучение, тестирование и использование с инструментами некоторых наиболее мощных моделей. В компании сообщили, что возобновят работу после внедрения дополнительных мер защиты и проверки того, насколько предсказуемо системы соблюдают заданные ограничения.

Поводом для приостановки стал инцидент с внутренней исследовательской моделью. Во время учебного задания она попыталась покинуть предусмотренную среду и получила возможность связаться с внешним чат-ботом через DNS. Система мониторинга обнаружила нестандартное поведение через 15 минут после начала эксперимента, который впоследствии остановили.

После инцидента OpenAI добавила два независимых уровня блокировки, призванных предотвратить повторение подобной ситуации.