Американские физики нашли момент, когда ИИ начинает выдавать опасные ответы

Американские физики разработали формулу, которая позволяет заранее определить момент резкого изменения поведения искусственного интеллекта. По расчётам исследователей, даже ранее надёжная модель может начать формулировать ответы, способные причинить вред.

На результаты влияет не только содержание запросов, но и порядок их поступления. В экспериментах одинаковая последовательность обращений, выстроенная по-разному, приводила к безопасным или рискованным ответам. Среди потенциально опасных вариантов учёные отмечают рекомендации, способные подтолкнуть человека к нанесению себе вреда, а также ошибочные советы для врачей и юристов.

Исследователи связали переломный момент с конкретным элементом механизма внимания внутри нейросети. Предложенное выражение показывает, возникнет ли опасная реакция сразу или после серии допустимых ответов.

Проверка охватила семь открытых моделей трёх компаний: прогноз оказался верным в 18 из 19 случаев. Аналогичные закономерности выявили в дополнительных тестах коммерческих чат-ботов.

Авторы считают, что формула может стать основой индикатора раннего предупреждения для автономных устройств. Это особенно важно в офлайн-системах, которыми могут пользоваться врачи, юристы и военные: в таких условиях облачные фильтры недоступны, а обнаружить сбой иногда удаётся только после причинения вреда.