Материалы Research Insights #44. Случайность в оценках агентов (Рубрика #AI4SDLC)
Материалы Research Insights #44. Случайность в оценках агентов (Рубрика #AI4SDLC)
2 ноября 2026 года вышел сольный Research Insights Made Simple #44. Представьте, что после правки инструкции агент стал решать 33% задач вместо 31%. Уже выкатываем? В исследовании "On Randomness in Agentic Evals" одну и ту же связку DeepSWE-preview и R2E-Gym прогнали на SWE-bench Verified десять раз. Доля решённых задач колебалась от 31,6% до 37,0%. На этом примере я разобрал, как оценивать небольшие улучшения агента.
В выпуске разобрал
🔸 Почему разброс остаётся при нулевой температуре Даже при жадном выборе токена на вычисления могут влиять точность, параллелизм и то, как движок собирает запросы в пакеты.
🔸 Как читать таблицу прогонов По столбцам видно, сколько задач агент решил в каждом прогоне. По строке видно, сколько раз он решил конкретную задачу. Одинаковый общий балл может скрывать разные провалы.
🔸 Когда пригодятся pass@k и pass^k Если тесты быстро проверяют патч и можно позволить себе несколько попыток, интересно, сработает ли хотя бы одна. Если задачу нужно решать стабильно, хочется знать, как часто успешны все попытки.
🔸 Где расходятся траектории.** В примере с задачей из Django два запуска Qwen3-32B при нулевой температуре разошлись на 94-м токене. В одном агент начал с поиска по конкретному файлу, в другом — по всему каталогу. В итоге сработал только второй патч.
🔸 Сколько раз гонять бенчмарк Здесь пригодится логика A/B-тестов. Заранее выбираем, какую прибавку хотим заметить, и прикидываем число повторов с учётом разброса. В статье его измеряли на одном бенчмарке с открытыми моделями и без сжатия истории, так что для своей обвязки понадобится свой замер.
Материалы выпуска 📌 Страница выпуска с таймкодами и слайды выпуска 🎬 Видео: YouTube, VK Видео 🎧 Аудио: Podster, Apple Podcasts 📖 Текстовый конспект
Если уже сравнивали две версии агента, расскажите, какой прирост для вас оправдывает смену модели или обвязки и сколько прогонов вы готовы на это потратить.
#ResearchInsights #AI4SDLC #Agents #Evals #Engineering