Эвалы: как проверить агента на задачах команды
После смены модели агент быстрее пишет код, но чаще пропускает требования. После правки скила отчёты стали короче, но из них исчезают ссылки. По одной удачной сессии трудно понять, улучшилась ли работа. Для этого нужен эвал (eval): проверка поведения агента на заранее выбранной задаче с известными критериями приёмки.
Проверка результата отвечает на вопрос «можно ли принять эту работу». Набор эвалов помогает решить, какую конфигурацию дать всей команде: модель, харнес (agent harness), инструкции и инструменты проверяют вместе.
Соберите задачи с проверяемым исходом
Заголовок раздела «Соберите задачи с проверяемым исходом»Для первого сравнения возьмите десять недавних задач одного класса. Это стартовый набор для поиска ошибок, а не достаточная выборка для вывода о всей работе команды. Включите обычные случаи, несколько сложных и хотя бы один, где правильный результат состоит в остановке: не хватает документа, нет доступа или требования противоречат друг другу.
У каждой задачи сохраните исходные данные, начальное состояние среды и способ проверки. Для кода нужен коммит до исправления, для анализа документа его конкретная версия. Готовое решение не должно попасть агенту вместе с условием.
| Задача | Критерий приёмки | Что считать провалом |
|---|---|---|
| Исправить повторную отправку заказа | Повторный запрос не создаёт второй заказ; тест воспроизводит ошибку до исправления | Тест отключён или повтор просто запрещён для всех запросов |
| Извлечь сроки из договора | У каждого срока есть цитата и номер пункта | Придуман срок, которого нет в тексте |
| Подготовить статус проекта | Числа совпадают с выгрузкой трекера | Закрытые задачи посчитаны дважды |
| Проверить заявку без вложения | Агент запрашивает недостающий файл | Результат выдан по предположению о содержимом |
Заведите отдельные задачи для настройки инструкций и для итоговой проверки. Иначе скил постепенно превратится в список ответов на знакомые примеры, а качество на новой работе останется неизвестным.
Оценивайте результат и соблюдение границ
Заголовок раздела «Оценивайте результат и соблюдение границ»В разборе агентных эвалов Anthropic различаются попытка, запись действий и конечное состояние среды. Агент может написать «задача выполнена», хотя нужный файл не создан. Проверяйте сам файл, запись в тестовой базе или поведение приложения.
Используйте проверку, подходящую свойству результата:
- Исполняемые проверки. Тест, схема данных, наличие обязательных полей, совпадение чисел. Их удобно повторять автоматически.
- Рубрика человека. Несколько явных критериев для текста, плана или ревью: факты подтверждены, существенные ограничения учтены, рекомендации выполнимы.
- Модель-судья (LLM-as-a-judge). Вспомогательная модель сравнивает результат с рубрикой. Сначала сопоставьте её оценки с человеческими на одних и тех же примерах; сохраняйте расхождения для разбора.
Для структурированных ответов проверяйте форму и значения отдельно: успешный разбор данных не подтверждает цитаты, даты и полномочия.
Не сводите всё к одной средней оценке. Утечка секрета, запись вне разрешённого каталога или отправка сообщения без разрешения должны оставаться отдельными провалами даже при отличном тексте. Такие проверки проводите с искусственными секретами и тестовыми получателями.
Повторяйте прогоны в одинаковых условиях
Заголовок раздела «Повторяйте прогоны в одинаковых условиях»Для каждого кандидата используйте одинаковые исходные данные, разрешения, инструменты и бюджет. Сохраняйте точное имя модели, версию харнеса, коммит инструкций и дату. Если модель выбирается автоматически, записывайте фактический выбор, когда инструмент его показывает.
Начинайте попытку в чистой среде. Рабочая папка, память предыдущей сессии и тестовая база могут содержать следы прошлого решения. Ветка git изолирует историю изменений, но не сбрасывает внешнюю базу, домашний каталог или запущенные процессы.
Повторите спорные и важные задачи несколько раз. Результаты «решил хотя бы один раз из пяти» и «решил все пять раз» отвечают на разные вопросы. В отчёте показывайте число успешных попыток и их общее число, а также причины провалов. Десять задач, выполненных по пять раз, всё ещё представляют десять сценариев, а не пятьдесят разных.
Считайте цену принятого результата
Заголовок раздела «Считайте цену принятого результата»Время ответа и расход токенов не отражают весь процесс. Добавьте время подготовки контекста, повторных запусков, проверки и исправлений человеком. Агент, который завершает работу за минуту, но требует получаса ревью, может оказаться менее полезным, чем медленный кандидат с проверяемым результатом.
Сравнивайте стоимость принятой задачи: суммарные расходы на все попытки, инструменты и среду делятся на число принятых результатов. Время человека лучше показывать отдельно, пока команда не согласовала способ его денежной оценки. При нуле принятых результатов стоимость принятой задачи не вычисляется: такой запуск считается неудачным.
Способы снизить расход и ожидание после такого измерения разобраны в главе «Стоимость и задержки»: повторное использование входа, выбор модели и пределы повторных попыток.
Для пилота достаточно таблицы: задача, конфигурация, исход, причина отказа, расход, длительность, минуты ревью. По ней видно, где помогает другая модель, а где мешают устаревшие инструкции или неподготовленное окружение.
Сделайте повторную проверку частью обновления
Заголовок раздела «Сделайте повторную проверку частью обновления»Запускайте короткий набор при изменении скила или инструментов, более широкий перед сменой модели для команды. Порог приёмки определите заранее: например, отсутствие нарушений доступа и сохранение качества на критичных сценариях. Это решение команды, универсального проходного процента нет.
Разбирайте неудачные попытки по записи действий, которую называют трассой (trace): что агент получил, какой инструмент вызвал и что тот вернул. Не сохраняйте в ней лишние персональные данные и секреты. Исправление окружения и исправление поведения модели требуют разных действий.
Что дальше
Заголовок раздела «Что дальше»- Сборка и проверка: как включить эвалы в процесс команды.
- Фоновые агенты: какие дополнительные проверки нужны без человека рядом.
- Оценка качества RAG: как отдельно проверять поиск и ответы по базе знаний.