Сколько обвязки нужно сильной модели
Когда обвязка помогает, а когда хватает минимального цикла
Содержание слайдов
1. Сколько обвязки нужно сильной модели
Когда обвязка помогает, а когда хватает минимального цикла
2. Ответ зависит от задачи и модели
Четыре остановки: лидерборд, целые обвязки, компоненты, ML-инженерия
3. Вопрос №38 — на десяти моделях
Фань и соавт. меняли три механизма внутри одного лёгкого цикла
4. Обвязка весит почти как модель
Лидерборд SWE-bench Verified: обвязка +19,4 п.п., модель +22,8
5. Сильнее модель — меньше прирост
Прирост над mini-SWE-agent на той же модели, SWE-bench Verified
6. Каждая клетка — одно число
Две обвязки × 10 моделей × 3 набора = 60 конфигураций
7. Разрыв сужается, но не исчезает
Qwen на SWE-bench Pro (N = 300): преимущество OpenCode 6,00 → 2,67 п.п.
8. Сильнее модель — больше вызовов
OpenCode на Qwen: 36–38 шагов, вызовов инструментов 39,87 → 72,23
9. У DeepSeek выигрыш с порогом
SWE-bench Pro: мало на R1, больше на V3–V3.2, почти ноль на V4-Pro
10. Выигрыш в основном у сильнейших
Открытые задачи: устойчиво выигрывают только сильнейшие модели
11. Компоненты включают по одному
NanoHarness: пять минимальных модулей поверх mini-SWE-agent
12. Часть компонентов вредит
ProgramBench, 200 задач: изменение балла относительно mini-SWE-agent, п.п.
13. Пять компонентов почти догоняют
84–85% выигрыша OpenCode (наш расчёт); отставание 1,1–2,1 п.п.
14. Сжатие дешевле, но теряет баллы
Вызовы, токены промпта и балл относительно mini-SWE-agent
15. Обвязка выравнивает разведку
Две ошибки mini-SWE-agent: слишком много проб и слишком мало
16. В ML главное — дать модели среду
Спутник, MLE-bench: от чата до нескольких агентов при равном бюджете
17. Malena не хуже четырёх систем
GLM 5.2, 30 задач MLE-bench, 24 часа на одной A100
18. Слабой модели обвязка ещё нужна
Разница перцентиля Malena и сильнейшего соперника, парный 95% интервал
19. Две статьи сходятся в двух местах
Сжатие контекста и делегирование; по навыкам сигнал расходится
20. Компоненты мерили узко
Обвязки — на трёх наборах, компоненты — только на ProgramBench
21. Надёжно лишь «не хуже»
Четыре ограничения от самих авторов и что с ними сделано
22. Сначала минимум, потом абляции
Порядок работы по двум статьям — мнение ведущего