О тестировании ИИ-агентов, вызывающих функции

В тестах ИИ-агентов нашли ошибку, которую не видит ни одна обычная защита.

Речь о function calling и tool use — когда агент вызывает функции и использует инструменты.

Агент может вызвать функцию, даже если условие её применения не выполнено. То есть функция срабатывает, когда её вызывать было нельзя.

Стандартные механизмы безопасности такую ошибку не замечают. При тестировании таких агентов стоит отдельно проверять условия вызова функций.