Оценки агентов: как понять, что агент справился / Research Insights Made Simple #42 (Рубрика #AI4SDLC)

Агент написал «готово». Но изменился ли нужный файл, появилась ли бронь в базе и выполнены ли условия задачи? Красивый ответ ещё не означает, что работа сделана. А низкий балл иногда говорит о сломанной проверке, а не о слабом агенте.

Завтра в 10 утра по мск разбираем руководство Anthropic «Demystifying evals for AI agents» и продолжаем серию об обвязках агентов. После разговора об их устройстве переходим к вопросу: как доказать, что система работает и очередная правка действительно её улучшила?

Обсудим: — Чем итог работы отличается от траектории: что агент оставил в среде и как к этому пришёл. — Почему оценивается модель вместе с обвязкой, инструментами и настройками среды. — Как устроены набор задач, отдельная задача и повторные попытки — и почему у процентов успеха бывают разные знаменатели. — Когда подходят программные проверки, модельные судьи и оценка человека; как проверять самих проверяющих. — Чем pass@k отличается от pass^k: хотя бы один успех и стабильный успех во всех попытках отвечают на разные вопросы. — Зачем изолировать прогоны, читать траектории и превращать реальные сбои в тестовые задачи.

Отдельно поговорим о доверии к оценкам: как отличить регрессию от случайного разброса, заметить неверные критерии и не принять рост балла за улучшение продукта. В эпилоге обратимся к более поздним материалам Anthropic: Petri v2, измерению автономности агентов и разбору апрельских регрессий.

Это практическое руководство, основанное на опыте команды и клиентов Anthropic. Разделим рекомендации авторов, результаты отдельных работ и наши выводы для разработки собственных агентов.

Эфир для разработчиков, технических руководителей и всех, кто хочет проверять AI-агентов на реальных задачах. Приходите с примерами: что в вашей системе считается доказательством успеха?

#AI4SDLC #Agents #Engineering #Architecture #Evals