Содержание слайдов

1. 1. Один прогон врёт: шум в оценке агентов

   60 000 траекторий SWE-bench Verified: насколько скачет pass@1 и сколько прогонов нужно

2. 2. Четыре вопроса к одному pass@1

   Разброс, две границы, механизм и число прогонов

3. 3. Прирост в 2 пункта бывает шумом

   Один прогон на задачу — обычная практика статей и лидербордов

4. 4. 60 000 траекторий на одном бенчмарке

   Три модели, два каркаса, две температуры, десять прогонов по 500 задач

5. 5. Прогон — столбец, задача — строка

   Как читать дальше: доля по прогону и число успехов по задаче

6. 6. Десять повторов расходятся на 2–6 пунктов

   Таблица 1: худший и лучший из десяти одинаковых прогонов

7. 7. Температура 0 не делает прогоны одинаковыми

   Отклонение при нуле нигде не меньше, чем при рекомендованной температуре

8. 8. 11 пунктов — эффект, 0,3 — шум

   Температура на nano-agent: DeepSWE-preview выигрывает от случайности, Devstral-2 — нет

9. 9. pass@k и pass^k — границы результата агента

   Формула 3 на одной задаче: 6 успехов в 10 прогонах

10. 10. Повторы добавляют 18,5 пункта, надёжность отнимает 18,9

    DeepSWE-preview на R2E-Gym; у Devstral-2 на nano-agent границы ближе

11. 11. Прогоны расходятся уже в первых токенах

    Медианы на nano-agent; ноль лишь откладывает расхождение

12. 12. Один токен может перевернуть исход задачи

    django__django-9296: Qwen3-32B, температура 0, nano-agent

13. 13. 2 пункта — 9 прогонов на версию

    Двухвыборочный тест: σ = 1,5 пункта, p < 0,05, мощность 80%

14. 14. Вдвое меньший эффект — вчетверо больше прогонов

    Таблица 2: прогонов на одну версию при мощности 80%

15. 15. Эффекты AGENTS.md — размером с шум прогона

    Восьмой разбор на шкале шума KTH — мнение ведущего

16. 16. 22 из 113 задач проходят порог

    DeltaSelect: 113 задач DeepSWE; порог корреляции 0,50 — описательный

17. 17. Сообщайте среднее с разбросом и обе границы

    Три практики авторов; протокол доклада добавляет пилот и цену успеха

18. 18. Выводы проверены на одном бенчмарке без компакции

    Что авторы измерили, что допустили и что оставили на потом

19. 19. Один прогон — ещё не измерение

    Десять повторов расходятся на 2–6 пунктов

    Температура 0 не убирает разброс

    pass@k и pass^k очерчивают диапазон агента

    Для +2 пунктов — 9 прогонов на версию

    Компакция и другие бенчмарки не проверены

    Прежде чем праздновать прирост, посчитайте нужные прогоны