Однократные бенчмарки поощряют ровно ту привычку, из-за которой с AI-агентом трудно работать: угадывать, что вы имели в виду, с первой попытки.
Мы обычно считаем, что модель, которая хорошо проходит бенчмарк, хорошо справится и в нашем продукте. С агентами эта связь ломается.
Однократный тест даёт модели один промпт и оценивает первый ответ. Чтобы получить высокий балл, модель должна додумать всё, что вы не написали, и сразу выдать ответ, который выглядит законченным.
Это противоположность того, что мне нужно от агента. Мне не нужен инструмент, который гадает за меня. Мне нужно, чтобы он крутил цикл: смотрел на реальное состояние, спрашивал, когда не хватает важного контекста, и доводил задачу за несколько ходов.
На этой неделе я читал разбор многоходовых эвалов в блоге вендора. Вендор продаёт альтернативу, так что делайте скидку. Но список типовых сбоев там верный: противоречия, бесконечные циклы, ложное завершение задачи. Ни один из них не проявляется на первом ходу.
Однократные эвалы по-прежнему дешёвые, воспроизводимые и годятся для узких задач, которые действительно решаются за один ход. Не каждой задаче нужен цикл агента, а многоходовые эвалы стоят серьёзных усилий на создание и поддержку.
Поэтому сдвиг, который я предлагаю, меньше, чем выбросить весь набор эвалов. Для всего, что ведёт себя как агент, оценивайте конец цикла: действительно ли задача сделана. Не смотрите на первый ход в отрыве от остального.
Если первый ответ выглядит законченным, возможно, это и есть проблема.