On Randomness in Agentic Evals: шум в оценках агентов (Рубрика #AI4SDLC)

В "On Randomness in Agentic Evals" исследователи из KTH проверили, насколько меняется оценка агента, если повторять один и тот же эксперимент. Мне особенно понравилось, что они отдельно померили разброс при temperature=0. Он никуда не делся. Масштаб приличный: 500 задач SWE-bench Verified, три модели, две агентные оболочки, два температурных режима и по десять прогонов каждой конфигурации. Получилось 60 тысяч траекторий, 25,58 млрд использованных токенов и 1,88 млн вызовов инструментов.

Разница между худшим и лучшим из десяти прогонов составила 2,2–6 процентных пунктов в зависимости от конфигурации. Например, Devstral-2 с nano-agent при нулевой температуре решал от 60,6% до 66,6% задач. Сам агент между этими запусками не улучшался. Поэтому прибавка в пару пунктов по одному прогону ещё не доказывает прогресс.

Случайность при этом помогает искать решения. У DeepSWE-preview с R2E-Gym при temperature=1 авторы получили:
- pass@1 — 34,4%: вероятность успеха одной попытки;
- pass@5 — 52,9%: хотя бы один успех за пять попыток;
- pass^5 — 15,5%: успех во всех пяти.

Все три оценки усреднены по задачам. Число в названии метрики — сколько попыток нас интересует; для её оценки здесь использовали десять попыток каждой задачи. Разница между последними двумя — вероятность получить в пятёрке и успех, и провал. Вот эти интерпретации мне кажутся полезнее одной цифры в лидерборде: видно и пользу повторов, и непоследовательность результата. Только успешную попытку ещё надо уметь распознать.

Авторы советуют оценивать pass@1 по нескольким попыткам каждой задачи, показывать разброс и рассчитывать число повторов под размер улучшения, которое нужно обнаружить.

А теперь несколько пометок на полях.

1️⃣ Мне понравился выбор двух оболочек: собственная nano-agent и R2E-Gym, которую использовали при обучении DeepSWE. Плюс две модели запускали локально, а Devstral — через API провайдера. Так наблюдение не привязано к одной реализации. Хотя отдельно измерить влияние инфраструктуры это не позволяет: вместе с ней меняется и модель.

2️⃣ С контекстом ребята выбрали самый простой для анализа вариант: история только растёт, ничего не обрезается и не пересказывается. Получается понятная формализация всей траектории, включая ответы инструментов. Но поведение агента со сжатием контекста здесь остаётся за скобками. Сводка может сохранить разные детали, а может убрать несущественные различия. Это уже вопрос для следующего эксперимента.

3️⃣ Ещё во введении у меня на полях появился «эффект бабочки» — дальше авторы сами используют эту аналогию. Траектории расходятся очень рано: например, у DeepSWE с nano-agent медиана первого различия после общего промпта — пятый токен при temperature=1 и 56-й при нуле. Другая формулировка может привести к другому поиску, найденному коду и правке. При этом первое несовпадение текста ещё не означает другую стратегию. Интересно было бы рядом измерить первое расхождение в действиях и посмотреть, когда оно меняет исход.

4️⃣ И главный блокер многократных прогонов вполне земной: дорого. Чем меньше улучшение хочется уверенно заметить, тем больше придётся считать. Поэтому перед таким экспериментом полезно договориться, какая прибавка вообще оправдывает смену модели или оболочки. Иначе можно потратить много вычислений на точное измерение разницы, которая ничего не меняет в работе.

Подробнее про эту статью в прямом эфире Research Insights #44 в понедельник, 2 ноября, в 10 утра по мск.

P.S.
Чуть раньше мы разбирали whitepaper "An Empirical Study of Harness Design for Coding Agents" от 17 сентября 2026 в Research Insights Made Simple №38 — «Проектирование обвязки для кодинговых агентов: что даёт обвязка, где как раз был один прогон на задачу при температуре ноль, без оценки разброса между повторными запусками. Зато там было 176 конфигураций про сравнение планирования, инструментов и управления контекстом. Интересно, а какие бы результаты дало это исследование, если бы авторы применили подходы для снижения шума:)

#AI4SDLC #AI #Agents #Research #Evals #Engineering