Случайность в оценках агентов: улучшение или шум?

Запланированный выпуск Research Insights Made Simple №44 выйдет 2 ноября 2026 года в 10:00 МСК. Александр Поломодов разберёт статью On Randomness in Agentic Evals: как отличить улучшение агента от случайного разброса результатов.

Авторы повторяют неизменные конфигурации на SWE-bench Verified и сравнивают результаты трёх моделей и двух обвязок. Обсудим разброс между прогонами, нулевую температуру, расхождение траекторий и разницу между pass@1, pass@k и pass^k.

Разберём, как оценивать неопределённость и выбирать число повторов для собственного сравнения, учитывая стоимость и ограничения исследования: один бенчмарк, модели с открытыми весами и обвязки без сжатия контекста.