Случайность в оценках агентов: улучшение или шум?

Предыдущий разбор оценок агентов объяснял, как построить проверку результата. Теперь вопрос другой: почему полученному числу можно верить? Ведущий сравнивает задачу с лабораторной работой или продуктовым экспериментом. Мало измерить эффект — нужно понять точность измерения. В условном примере старая версия решает 31% задач, новая — 33%. Если каждую запустили один раз, разницу нельзя уверенно приписать изменению промпта или обвязки.

Рядом показан реальный результат статьи: неизменная DeepSWE-preview в R2E-Gym при температуре 1,0 за десять прогонов получила от 31,6% до 37,0%, в среднем 34,4%. Размах составляет 5,4 процентного пункта. Это объясняет опасность поспешного вывода о приросте на два пункта. Само попадание в такой диапазон не заменяет статистическую проверку: оно показывает, почему сравнивать одиночные числа недостаточно.

Авторы взяли SWE-bench Verified с 500 задачами исправления ошибок в репозиториях. Успех определяют обычные тесты. Сравниваются Qwen3-32B, её агентная дообученная версия DeepSWE-preview и более крупная Devstral-2. У каждой модели две обвязки: минимальный nano-agent, созданный для эксперимента, и R2E-Gym. DeepSWE-preview обучалась с R2E-Gym, а новая обвязка позволяет посмотреть на работу без такого знакомства. Используются рекомендованные температуры и ноль, по десять повторов каждой конфигурации.

Масштаб — около 60 тысяч траекторий, 25 миллиардов токенов и почти двух миллионов вызовов инструментов. Оба каркаса сохраняют историю целиком, без сжатия и суммаризации. Ведущий предлагает представить таблицу: строки — задачи, столбцы — повторные прогоны. Доля успехов в столбце даёт результат одного прогона; среднее по столбцам — усреднённый pass@1. Число успехов в строке отвечает уже на вопрос о повторяемости конкретной задачи. Смешивать эти два уровня анализа нельзя.

В эксперименте размах результатов разных конфигураций составляет примерно два–шесть процентных пунктов. Установка температуры в ноль не устраняет разброс и не обязательно уменьшает его. Жадный выбор следующего токена ещё не означает, что вся система вычисляется одинаково. На результат влияют вычисления с плавающей точкой, параллельное исполнение, оптимизации под оборудование и объединение запросов в пакеты.

Здесь выпуск обращается к объяснению Thinking Machines Lab: вычислительные ядра могут давать немного разные результаты при разном размере пакета, который зависит от нагрузки сервера. Поэтому одной настройки модели недостаточно для гарантии воспроизводимости. Кроме того, изменение температуры способно изменить и среднее качество. Это отдельный эффект, требующий проверки; нельзя считать, что ноль всегда улучшает агента или что одинаковая температура обеспечивает одинаковый ответ.

Метрика pass@k описывает успех хотя бы в одной из k попыток. Метрика pass^k требует успеха во всех k попытках. Первая полезна для конвейера, где можно автоматически проверить результат и недорого повторить работу. Вторая важна, когда ожидается устойчивое выполнение, а повтор или проверка обходятся дорого. Один средний балл скрывает различие между доступной способностью и надёжностью её проявления.

В иллюстрации задача решена шесть раз из десяти. Если выбирать пять наблюдавшихся попыток без возвращения, хотя бы один успех будет в любом наборе: неудач всего четыре. Оценка pass@5 здесь равна 100%. Успешны все пять лишь в шести из 252 сочетаний, около 2,4%. Это расчёт по конечной выборке, поэтому его нельзя подменять простым возведением наблюдаемой доли в степень. Для DeepSWE-preview с R2E-Gym pass@1 около 34%, а pass@5 достигает 52,9%: дополнительные попытки раскрывают возможности, которые одиночный запуск не показывает.

Авторы сохраняют системные инструкции, описание задачи, ответы модели и результаты команд, затем находят первый несовпадающий токен в двух прогонах одной задачи. При рекомендованных температурах расхождение может начинаться почти сразу. Нулевая температура отодвигает его, но не устраняет. Ведущий связывает механизм с эффектом бабочки: небольшая разница в начале длинного вычисления меняет дальнейший путь.

В конкретном примере Qwen3-32B с nano-agent при температуре ноль решает задачу из Django. На 94-м токене траектории расходятся; одна попытка заканчивается успехом, другая неудачей. Такой разбор помогает увидеть, откуда берётся различие итоговых баллов. Он не сводит любую ошибку к одному токену и не доказывает одинаковый механизм для всех задач, но показывает, зачем сохранять ход работы агента вместе с результатом.

В приложении статьи приведён расчёт числа прогонов по ожидаемому размеру эффекта, стандартному отклонению и выбранным статистическим требованиям. Аналогия с A/B-тестами прямая: небольшой эффект требует больше наблюдений. Здесь вместо дополнительного пользовательского трафика приходится оплачивать повторные запуски агентов. Число десять описывает проведённый эксперимент, а не универсальное правило для любого сравнения.

Если бюджет позволяет только пять прогонов, их может не хватить для различения небольшого прироста и шума. Отсутствие статистической значимости тогда не доказывает бесполезность изменения. Практическая рекомендация — сначала определить, какой эффект важен, оценить разброс и рассчитать повторы. В отчёте нужны усреднённый pass@1, стандартное отклонение и подходящие сценарию pass@k и pass^k. Это относится и к внутреннему выбору более дешёвой модели, и к проверке собственной обвязки.

Исследование ограничено одним бенчмарком с задачами на Python, тремя моделями с открытыми весами и обвязками без сжатия истории. Оно не измеряет длительные открытые задачи и передовые закрытые модели. Разброс изучается прежде всего между прогонами; причины разной устойчивости отдельных задач требуют дополнительного анализа. Поэтому конкретные величины нельзя автоматически переносить на другой агентный стек.

Ведущий обращает внимание и на различающиеся лимиты инструментов: у nano-agent разрешено 500 вызовов, у R2E-Gym — 100. Наблюдаемое преимущество конфигурации нельзя объяснять только сложностью обвязки. Методологическая польза статьи шире её чисел: она готовит к следующим разборам AGENTS.md и DeltaSelect, где тоже потребуется отделять эффект вмешательства от случайности. Собственные эксперименты стоит строить с этой неопределённостью с самого начала.