Как найти причину ошибок AI-фичи и проверить её с помощью тестового оракула

Когда у AI-фичи нет единственного правильного ответа, привычная проверка по принципу ожидание равно факт перестаёт работать. В статье объясняют, как найти причину ошибок и протестировать функцию с помощью тестового оракула.

Обычные тесты сравнивают результат с эталоном, но для языковых моделей эталона часто нет. Тестировщику приходится искать другой способ оценки. Оракул позволяет проверить результат, даже если точного ответа не существует.

Это практический разбор для тех, кто тестирует генеративные функции. Из него можно узнать, как строить такие проверки и где искать источник сбоев.