Содержание слайдов

1. 1. Обвязка агента: что действительно помогает

   Контролируемое сравнение планирования, инструментов и управления контекстом

2. 2. За рейтингом агента скрываются разные причины

3. 3. Обвязку можно разбирать по частям

   План · действия · контекст вокруг одного цикла

4. 4. 176 настроек — не полный перебор

   4 модели × 2 набора задач × 22 настройки

5. 5. Два набора проверяют разную работу

   Исправить репозиторий ≠ выполнить задачу в терминале

6. 6. План живёт вне истории диалога

   update_plan → сохранённый план → следующий вход модели

7. 7. Меняется весь интерфейс действий

   Готовые операции ↔ команды bash

8. 8. Пять политик собираются из трёх механизмов

   Заглушки · возврат оригинала · пересказ

9. 9. Сначала дешёвые заглушки, затем пересказ

   T4 сохраняет начало задачи и свежий хвост

10. 10. Маленькое окно делает управление контекстом ценнее

    Доля решённых задач по размеру окна, оба набора

11. 11. Большая часть выигрыша — предотвращённый обрыв

    Ошибки переполнения у T0 и длина траекторий

12. 12. T4 — самая дешёвая из управляемых политик

    У T4 дорогой пересказ срабатывает реже

13. 13. Модели редко возвращают выводы из-под заглушек

    T2 против T1: возврат добавлен, остальное совпадает

14. 14. Слабой модели план помогает не бросать задачу

    Nemotron-3 30B · SWE-bench · T4/128k

15. 15. Сильным моделям план сокращает лишние проверки

    Nemotron-3 550B и Mistral Medium 3.5 · SWE-bench · T4/128k

16. 16. Bash помогает одной модели и мешает другой

    T4/128k · план включён

17. 17. Одна модель меняет предпочтение между наборами

    Mistral Medium 3.5 · T4/128k

18. 18. Каждый компонент оставляет свой след

    Длина траектории · точка остановки · размер действия

19. 19. Разметку поведения тоже нужно проверять

    LLM-судья + выборка, проверенная людьми

20. 20. Результат ограничен моделями, задачами и реализацией

    Четыре модели · два семейства · одна попытка на задачу

21. 21. Симптом в траектории подсказывает компонент

    Наш вывод из исследования

22. 22. Обвязка должна окупаться

    Управление контекстом снимает ограничение окна

    Заглушки перед пересказом снижают цену

    План меняет момент остановки

    Интерфейс зависит от модели и задачи

    Проверяйте пользу после смены модели

    Измеряйте причину, затем меняйте механизм

23. 23. Надёжность экзамена тоже требует проверки

24. 24. Следующий шаг — проверить взаимодействия компонентов