Содержание слайдов

1. 1. Модель или обвязка: что двигает результат

   8 моделей и 4 обвязки на 54 бенчмарках: чей вклад в балл больше и сколько это стоит

2. 2. Четыре остановки: от адаптеров к индексу

   Инфраструктура, модель или обвязка, цена и сбои, Harbor-Index

3. 3. №38 менял детали, Harbor — обвязку целиком

   №38: один цикл и четыре модели; Harbor: 8 моделей, 4 обвязки, 54 бенчмарка

4. 4. Адаптеры превращают m × n в m + n

   Один адаптер на бенчмарк и одна интеграция на агента вместо отдельной на каждую пару

5. 5. Задача Harbor состоит из четырёх частей

   Инструкция, среда, тесты и эталонное решение — схема из Terminal-Bench

6. 6. Адаптер сверяют с оригинальным бенчмарком

   Тот же агент и модель с обеих сторон, k запусков, среднее ± ошибка

7. 7. Каждая модель — в двух обвязках

   Родная обвязка вендора и нейтральная Terminus-2: 16 конфигураций на 54 бенчмарках

8. 8. Сначала вычитаем сложность бенчмарка

   Уравнение 7: балл = модель + обвязка + сдвиг бенчмарка + шум

9. 9. Разброс моделей в 5,2 раза шире

   От GPT-5 nano до Gemini 3.1 Pro — 0,451 балла; между обвязками — 0,087

10. 10. Родная обвязка даёт 0,5–9 пунктов

    Наш расчёт: родная минус Terminus-2 — Claude +0,042, GPT +0,087, Gemini +0,005

11. 11. Обвязки сравниваются только через Terminus-2

    Каждая родная обвязка видела только модели своего вендора

12. 12. Фронтир окупается на средних задачах

    Прирост фронтира над пятью остальными моделями, п.п.

13. 13. Меньше токенов, но дороже попытка

    Фронтирные модели экономят токены сильнее всего на лёгких задачах

14. 14. Неверный ответ лидирует в любой обвязке

    У GPT-5.4 блокировок средой в Terminus-2 почти втрое больше

15. 15. 82 задачи из 6627 дошли до индекса

    Фильтр сложности, ИИ-аудитор, рецензенты и цикл «аудит — исправление»

16. 16. Треть «трудных» задач оказалась сломанной

    Нулевой балл часто означает ошибку в задаче, а не предел модели

17. 17. Родная обвязка помогает тройке лидеров

    Harbor-Index 1.0: доля решённых задач, родная обвязка против Terminus-2

18. 18. Чужая обвязка стоит в разы дороже

    Через OpenRouter Claude Code дороже Terminus-2 в 3,7–12,3 раза

19. 19. Тайм-аут — не всегда вина модели

    На одних и тех же задачах родная обвязка снижает долю тайм-аутов с 42 до 26 %

20. 20. Разрыв зависит от того, что сравнивают

    Семь обвязок на трёх моделях и три — на двух

21. 21. Блог и третья версия дают разные числа

    Слайд GigaConf цитировал блог: «ни одно сравнение не значимо»

22. 22. Выводы переносятся не на любые модели

    Ограничения авторов и оговорки ведущего к числам статьи

23. 23. Сначала модель, потом обвязка и цена

    Что взять из статьи в свою практику оценки агентов