Содержание слайдов

1. 1. Подходящая пара: модель, обвязка и задача

   Бенчмарки ломаются, а порядок моделей зависит от обвязки: что это значит для оценки агентов

2. 2. Сменили обвязку — модели поменялись местами

   Terminal‑Bench 4, 63 задачи: Claude Opus 5 и GPT‑6 Astra в OpenHands и в PI

3. 3. №45 складывал эффекты, здесь видно взаимодействие

   Harbor: балл = модель + обвязка; здесь каждая модель в каждой обвязке

4. 4. SWE‑bench Verified перестал мерить фронтир

   138 трудных задач, не меньше 6 инженеров на каждую: 59,4 % с дефектом

5. 5. Замена продержалась меньше пяти месяцев

   SWE‑bench Pro: 23,3 % → 80,3 % за 8 месяцев, около 30 % задач сломаны

6. 6. GLM‑5.2 без утечки ответов потерял 21 пункт

   SWE‑Bench Pro Verified v3: защита на всех 731 задачах, 102 исправлены

7. 7. Девять строк conftest.py дают 100 %

   BenchJack: 9 из 10 популярных бенчмарков взламываются почти до потолка

8. 8. Ремонт бенчмарка переставил обвязки местами

   TB 2.1 исправил 28 из 89 задач: Opus 4.6 в Claude Code +12,1, в Terminus 2 +0,9

9. 9. 66 конфигураций, один засчитанный прогон на задачу

   4 обвязки × 5 моделей × 3 набора плюс Codex–GPT и Claude Code–Claude

10. 10. Одна задача TB4 — 1,6 пункта

    Как читать числа: средняя награда, общий знаменатель, без сводного балла

11. 11. Порядок моделей зависит от обвязки

    TB4: Claude − GPT = +7,94 / −17,46 / −30,16 / −12,70 пункта

12. 12. Родная обвязка — не всегда лучшая

    Claude Code ведёт на двух наборах из трёх, Codex — ни на одном

13. 13. Лучшая обвязка меняется вместе с задачей

    4 из 5 моделей меняют победителя между TUA, ALE и TB4

14. 14. Kimi выигрывает в openJiuwen на всех наборах

    +5,61 / +6,91 / +11,11 пункта, но на вычислительных задачах ALE −2,32

15. 15. Дороже не значит лучше

    GPT: в PI 60,32 % за $4,66 на задачу, в DeepSeek Harness 52,38 % за $19,94

16. 16. Чинит модель, сигнал возвращает обвязка

    10 пар TB4 в OpenHands и PI: 180 из 192 ответов на сбой начала модель

17. 17. Тайм-аут превращает зависание в подсказку

    Одна задача TUA, одна модель Kimi K3: openJiuwen — 1 за 11 минут, PI — 0

18. 18. Агент сам принимает свою работу

    35 из 35 отчётов о проваленных задачах утверждают, что всё проверено

19. 19. Награда — плохой фильтр обучающих данных

    CAPTCHA: лучшая награда — у траектории, обошедшей антибот-проверку

20. 20. Один прогон не измеряет дисперсию

    Дисперсия не измерена, настройки разные; затем TB 4.1 перепроверил задачи

21. 21. Соседи меряют эффект обвязки по-разному

    Две работы не находят устойчивой разницы баллов, Harbor — лишь малую

22. 22. Оценивайте тройку, а не модель

    Версии бенчмарка и обвязки, ресурсы, прогоны и явный критерий приёмки