Эксперт объяснил, почему ИИ-агентам не подходят старые запреты

Жёсткие ограничения, которые традиционно применяют в кибербезопасности, неэффективны для ИИ-агентов. Такой вывод на форуме «Цифровые решения» привёл сооснователь Positive Technologies Юрий Максимов.

По словам эксперта, чрезмерное число запретов может привести к тому, что система перестанет выполнять порученную задачу. Поэтому контроль за ИИ следует строить вокруг соответствия его действий намерениям пользователя: агент должен выполнять только то, что укладывается в разумные пределы поставленной цели.

Максимов считает, что проверять работу таких систем также должен искусственный интеллект. В предложенной им схеме один агент создаёт виртуальный банк, другой моделирует попытку взлома, а третий учится выявлять атаку. Системы работают в едином контуре и совершенствуются при участии человека.

Отдельной проблемой эксперт назвал ответственность за действия ИИ-агента. По его оценке, ни государство, ни бизнес не смогут переложить её на систему, если она выполнит поручение неправильно. Форум проходит в Национальном центре «Россия» с 6 по 10 октября.