
Обвязка улучшает обвязку: AHE
Цикл с прогнозом к каждой правке: что он нашёл, где польза и чего он не видит
Содержание слайдов
1. Обвязка улучшает обвязку: AHE
Цикл с прогнозом к каждой правке: что он нашёл, где польза и чего он не видит
2. От цикла к цифрам и границам
Модель не меняется: правят промпт, инструменты, middleware и память
3. Ручная настройка обвязки отстаёт от моделей
Обвязка под одну модель часто хуже работает с другой
4. Узкое место — наблюдаемость, а не способности агента
Три опоры: компоненты, опыт и решения
5. Семь типов компонентов — файлы
Исходная обвязка («семя») — один bash-инструмент и три правила
6. Отладчик сжимает траектории в отчёты
Сначала обзор, затем отчёт по задаче, сырой след — в крайнем случае
7. У каждой правки есть прогноз
Что починит, что может сломать и почему именно этот компонент
8. Раунд: прогон, сверка, откат, правка
Лучшую обвязку выбирают по pass@1 на тех же задачах
9. Один прогон задачи — 0,56 пункта
89 задач × 2 прогона; отбор и оценка — на одном наборе
10. Десять итераций: 69,7 → 77,0 %
Выше Codex, ACE и TF-GRPO; на Hard впереди Codex и TF-GRPO
11. Цикл выпустил words, подкреплённые walls
Четыре выигрышных раунда: правила для модели и механизмы в коде
12. Правило было, файл всё равно удалили
path-tracing: страж в shell перехватил rm -rf после проверки
13. Польза — в памяти, инструментах и middleware
По одному слою поверх исходной обвязки; промпт в одиночку не помог
14. Абляции «AHE без промпта» в статье нет
−2,3 пункта — четыре прогона, около двух задач из 89
15. Каждый компонент чинит свой класс провалов
По уровням сложности приросты расходятся
16. Починки цикл предсказывает, регрессии — нет
Точность и полнота прогнозов за девять раундов
17. На SWE-bench Verified точность почти та же
75,6 против 75,2 % при 461 и 526 тыс. токенов на попытку
18. Все пять других моделей выиграли от переноса
Другие семейства — +5,1…+10,1; GPT-5.4 medium и xhigh — по +2,3
19. Meta-Harness: 80 строк поверх KIRA
Opus 4.6 на TB2: 76,4 % против 74,7 % у Terminus-KIRA
20. Вне распределения AHE оказалась ниже старта
RRSI: та же исходная обвязка, Claude Opus 4.8, задачи Harvey LAB
21. Авторы: исследовательский прототип, не продукт
Три границы из статьи и две — наша оценка
22. Реестр обвязки: предположение и триггер
Строка реестра — как запись манифеста, плюс отложенная проверка
23. Автоэволюция работает, но требует внешней проверки
Правка обвязки — прогноз, который проверяют
TB2: 69,7 → 77,0 % на тех же задачах
Польза — в инструментах, памяти и middleware
Регрессии цикл почти не предсказывает
Вне TB2 выигрыш мал или исчезает
Отдавайте циклу правки, но не приёмку