К основному содержимому
Research Insights Made Simple
Разбор исследованияResearch Insights Made Simple

Обвязка улучшает обвязку: AHE

Цикл с прогнозом к каждой правке: что он нашёл, где польза и чего он не видит

/ Research Insights Made Simple · Обвязки агентов 12/15 · AHE

Содержание слайдов

  1. 1. Обвязка улучшает обвязку: AHE

    Цикл с прогнозом к каждой правке: что он нашёл, где польза и чего он не видит

  2. 2. От цикла к цифрам и границам

    Модель не меняется: правят промпт, инструменты, middleware и память

  3. 3. Ручная настройка обвязки отстаёт от моделей

    Обвязка под одну модель часто хуже работает с другой

  4. 4. Узкое место — наблюдаемость, а не способности агента

    Три опоры: компоненты, опыт и решения

  5. 5. Семь типов компонентов — файлы

    Исходная обвязка («семя») — один bash-инструмент и три правила

  6. 6. Отладчик сжимает траектории в отчёты

    Сначала обзор, затем отчёт по задаче, сырой след — в крайнем случае

  7. 7. У каждой правки есть прогноз

    Что починит, что может сломать и почему именно этот компонент

  8. 8. Раунд: прогон, сверка, откат, правка

    Лучшую обвязку выбирают по pass@1 на тех же задачах

  9. 9. Один прогон задачи — 0,56 пункта

    89 задач × 2 прогона; отбор и оценка — на одном наборе

  10. 10. Десять итераций: 69,7 → 77,0 %

    Выше Codex, ACE и TF-GRPO; на Hard впереди Codex и TF-GRPO

  11. 11. Цикл выпустил words, подкреплённые walls

    Четыре выигрышных раунда: правила для модели и механизмы в коде

  12. 12. Правило было, файл всё равно удалили

    path-tracing: страж в shell перехватил rm -rf после проверки

  13. 13. Польза — в памяти, инструментах и middleware

    По одному слою поверх исходной обвязки; промпт в одиночку не помог

  14. 14. Абляции «AHE без промпта» в статье нет

    −2,3 пункта — четыре прогона, около двух задач из 89

  15. 15. Каждый компонент чинит свой класс провалов

    По уровням сложности приросты расходятся

  16. 16. Починки цикл предсказывает, регрессии — нет

    Точность и полнота прогнозов за девять раундов

  17. 17. На SWE-bench Verified точность почти та же

    75,6 против 75,2 % при 461 и 526 тыс. токенов на попытку

  18. 18. Все пять других моделей выиграли от переноса

    Другие семейства — +5,1…+10,1; GPT-5.4 medium и xhigh — по +2,3

  19. 19. Meta-Harness: 80 строк поверх KIRA

    Opus 4.6 на TB2: 76,4 % против 74,7 % у Terminus-KIRA

  20. 20. Вне распределения AHE оказалась ниже старта

    RRSI: та же исходная обвязка, Claude Opus 4.8, задачи Harvey LAB

  21. 21. Авторы: исследовательский прототип, не продукт

    Три границы из статьи и две — наша оценка

  22. 22. Реестр обвязки: предположение и триггер

    Строка реестра — как запись манифеста, плюс отложенная проверка

  23. 23. Автоэволюция работает, но требует внешней проверки

    Правка обвязки — прогноз, который проверяют

    TB2: 69,7 → 77,0 % на тех же задачах

    Польза — в инструментах, памяти и middleware

    Регрессии цикл почти не предсказывает

    Вне TB2 выигрыш мал или исчезает

    Отдавайте циклу правки, но не приёмку