Как я собрал винный бенчмарк на 3 266 вопросов руками LLM и где они меня подвели

3 266 вопросов о вине — столько вошло в новый бенчмарк OenoBench. Его автор полгода собирал 38 104 факта из открытых источников и превратил их в тест с вариантами ответов.

Цель — измерить, сколько языковые модели на самом деле знают про вино. В отчёте он делится, где именно модели его подвели.

Бенчмарк уже выпущен, и его можно опробовать на своей LLM. Это хороший способ проверить модель на узкой теме или просто узнать, насколько ИИ разбирается в вине.