Оценки агентов: как понять, что агент справился

Александр начинает с практического вопроса: что позволяет считать работу агента завершённой? В рассказе Anthropic о Claude Code ручное тестирование и отзывы постепенно дополнялись оценками редактирования, краткости и переусложнения решений. Ведущий разделяет итог и траекторию. Итог проверяется в среде: существует ли бронь, изменён ли файл, выполнены ли условия. Траектория показывает, как агент к нему пришёл, и помогает объяснить неудачу. Обвязка для оценивания запускает не одну модель, а всю систему с инструментами и настройками. На иллюстрации двадцати задач по пять попыток и ста задач по одной объясняется разница между повторяемостью и широтой покрытия.

Далее обсуждаются три вида проверяющих. Код подходит для точных условий, модельный судья — для открытых ответов и качественных критериев, человек — для экспертной оценки и калибровки. Каждый способ имеет ограничения: программные проверки бывают хрупкими, модели добавляют недетерминированность, эксперты дороги и не всегда доступны. На примере поддержки показана польза частичного успеха: выявление проблемы, проверка пользователя и возврат денег могут завершиться по-разному. Телеметрия помогает локализовать сбой. Для исследований важны источники и полнота, для диалога — поведение в ходе взаимодействия. Ведущий также напоминает, что агент не может уверенно проверить недоступную ему часть среды, например звук или браузерное окно.

Различие pass@k и pass^k связывает метрику со сценарием продукта. Первая засчитывает хотя бы один успех, вторая требует успеха во всех попытках. Числовой пример с вероятностью 75% предполагает независимые запуски; это ограничение отдельно оговаривается. Практический рецепт начинается с двадцати–пятидесяти реальных задач, ясных условий и эталонного решения. Нужны отрицательные примеры, чистая среда и защита от доступа к ответам через историю. Разбор траекторий позволяет обнаружить ошибки самого оценивания: необоснованную точность, неуказанный путь к файлу, нестабильные проверки. Набор для развития возможностей дополняется регрессионным набором, защищающим уже достигнутое качество.

В финале оценки до релиза связываются с мониторингом, экспериментами и отзывами пользователей. Ведущий проводит аналогию с обычным тестированием и разделяет инфраструктуру платформенной команды и критерии продуктовой. Эпилог обращается к более поздним работам Anthropic: Petri v2 поднимает вопрос распознавания проверки моделью, исследование автономности учитывает реальные сессии, а апрельский разбор регрессий Claude Code показывает влияние настроек рассуждений, истории и краткости. Ни один набор оценок не обнаруживает все проблемы до выхода к пользователям. Таймкоды составлены по аудиоверсии Podster; совпадение временной шкалы с YouTube отдельно не измерялось.