К основному содержимому
Research Insights Made Simple / Атлас идей

Эволюция агентного харнесса

Модель учится. Обвязка меняется. Проследите, как интерфейсы, память и проверки превращают ответ модели в законченную работу.

Когда появилась идея

Даты первоисточников · расстояния между точками условны

  1. ReAct: мыслить и действоватьКонтекст
  2. Вызов функций через APIКонтекст
  3. SWE-agentНаш разбор

    Наш разбор /

    SWE-agent

    Первая версия статьи; разбор версии v3

    Границы исполнения
    вне фокуса
    Контекст
    ◎ в фокусе
    Сохранённое состояние
    вне фокуса
    Цикл
    вне фокуса
    Модель
    вне фокуса
    Инструменты
    + добавлено
    Проверки
    ◎ в фокусе

    Цикл → модель → инструменты; наблюдения возвращаются в цикл. Контекст и состояние поддерживают следующие шаги, проверки оценивают результат.

    Как меняется устройство харнесса: SWE-agentГраницы исполнениявне фокусаКонтекст◎ в фокусеСостояниевне фокусаЦиклвне фокусаМодельвне фокусаИнструменты+ добавленоПроверки◎ в фокусе

    Цвет и знак показывают изменение или акцент работы. Серый — вне её фокуса: наличие компонента по этой схеме определить нельзя. Редакционная карта ролей, а не точная схема реализации. Цикл вызывает модель; инструменты возвращают наблюдения. Контекст, сохранённое состояние и проверки поддерживают работу внутри границ исполнения.

    Изменения и акценты

    • Инструменты · добавлено. Поиск, просмотр и правка через ACI

    • Контекст · в фокусе. Ограниченный, информативный вывод

    • Проверки · в фокусе. Проверка патча на задачах

    Какую проблему решает

    Интерфейс, удобный человеку, может мешать агенту править код.

    Ключевые идеи

    • Проектировать команды под модель.
    • Давать компактную, полезную обратную связь.
    • Проверять влияние интерфейса экспериментом.

    Граница вывода

    Результаты относятся к моделям и тестам исследования 2024 года.

    Выпуск опубликован · 5 окт. 2026 г.
    Страница выпуска

    Связи идей

  4. Динамическая памятьНаш разбор
  5. Стены для агентаНаш разбор
  6. mini-SWE-agent: достаточно bash?Контекст
  7. Передача работыНаш разбор
  8. Оценки агентовНаш разбор
  9. Шум в оценкахНаш разбор
  10. Инженерия обвязкиНаш разбор
  11. Файлы контекстаНаш разбор
  12. Длительная разработкаНаш разбор
  13. Управляемое исполнение AnthropicКонтекст
  14. AHEНаш разбор
  15. CLI-агенты в MicrosoftНаш разбор
  16. Анатомия агентаНаш разбор
  17. Ответственность командыНаш разбор
  18. Модель или обвязкаНаш разбор
  19. Codex как управляемый сервисКонтекст
  20. Эксперимент с обвязкойНаш разбор
  21. Классификатор — не стенаНаш разбор
  22. Агент после сбояНаш разбор
  23. Сколько обвязкиНаш разбор
  24. SCLATE: учиться в своей средеПередний край
  25. Минимальная обвязка для MLПередний край
  26. Следующий контекстНаш разбор

Наш разбор /

SWE-agent

Первая версия статьи; разбор версии v3

Границы исполнения
вне фокуса
Контекст
◎ в фокусе
Сохранённое состояние
вне фокуса
Цикл
вне фокуса
Модель
вне фокуса
Инструменты
+ добавлено
Проверки
◎ в фокусе

Цикл → модель → инструменты; наблюдения возвращаются в цикл. Контекст и состояние поддерживают следующие шаги, проверки оценивают результат.

Как меняется устройство харнесса: SWE-agentГраницы исполнениявне фокусаКонтекст◎ в фокусеСостояниевне фокусаЦиклвне фокусаМодельвне фокусаИнструменты+ добавленоПроверки◎ в фокусе

Цвет и знак показывают изменение или акцент работы. Серый — вне её фокуса: наличие компонента по этой схеме определить нельзя. Редакционная карта ролей, а не точная схема реализации. Цикл вызывает модель; инструменты возвращают наблюдения. Контекст, сохранённое состояние и проверки поддерживают работу внутри границ исполнения.

Изменения и акценты

  • Инструменты · добавлено. Поиск, просмотр и правка через ACI

  • Контекст · в фокусе. Ограниченный, информативный вывод

  • Проверки · в фокусе. Проверка патча на задачах

Какую проблему решает

Интерфейс, удобный человеку, может мешать агенту править код.

Ключевые идеи

  • Проектировать команды под модель.
  • Давать компактную, полезную обратную связь.
  • Проверять влияние интерфейса экспериментом.

Граница вывода

Результаты относятся к моделям и тестам исследования 2024 года.

Выпуск опубликован · 5 окт. 2026 г.
Страница выпуска

Связи идей

SWE-agent

Как расширялось понятие

Смыслы сосуществуют. Это карта употребления и обязанностей, а не смена единственного общепринятого определения.

  1. 01 / Проверка

    Тестовая обвязка

    Запустить систему в заданных условиях и проверить результат.

  2. 02 / Действие

    Среда работы агента

    Связать модель с инструментами, наблюдениями и состоянием.

  3. 03 / Инженерия

    Проектирование окружения

    Сделать задачи, обратную связь и границы понятными агенту.

  4. 04 / Совместная настройка

    Исполнение и обучение

    Проверять и развивать связку модели, памяти и среды.

Дополнено 27 октября 2026

Передний край

Четыре открытых вопроса. Доступные механизмы и исследовательские результаты показаны вместе с условиями, в которых они работают.

01

Сколько обвязки нужно сильной модели?

Механизм
Сравнивать минимальный цикл и добавленные механизмы при одинаковом бюджете.
Свидетельство
ML-исследование поддерживает минимализм; NanoHarness находит пользу дополнений в других задачах.
Граница вывода
Разные задачи не дают единого рейтинга обвязок.
Открытый вопрос
Какой компонент окупается на наших задачах после смены модели?
02

Как обеспечивать долгую работу?

Механизм
Разделять состояние сессии, цикл и изолированную среду исполнения.
Свидетельство
Anthropic Managed Agents и OpenAI Agents API переносят обслуживание этих слоёв на платформу.
Граница вывода
Управляемый сервис не заменяет прикладные критерии успеха и права доступа.
Открытый вопрос
Что сохраняется и что безопасно повторить после отказа?
03

Как улучшать обвязку по запускам?

Механизм
Сохранять свидетельства, формулировать гипотезу правки и проверять следующий запуск.
Свидетельство
AHE демонстрирует цикл автоматических изменений с проверяемыми прогнозами.
Граница вывода
Нужны отдельные задачи проверки и учёт цены самого улучшения.
Открытый вопрос
Улучшается переносимость или только результат на знакомом экзамене?
04

Как сближаются работа и обучение?

Механизм
Обучать модель через ту же обвязку, память и события, с которыми она будет работать.
Свидетельство
SCLATE объединяет многосессионную оценку и сбор обучающих траекторий.
Граница вывода
Прирост в исследовании не гарантирует перенос на любую рабочую среду.
Открытый вопрос
Какие навыки закреплять в модели, а какие оставлять в изменяемом окружении?

Все работы и источники

Редакционный срез проверяется вручную. Первое появление работы и версия, которую мы разбираем, могут иметь разные даты.

  1. ReAct · arXiv v1

    Модель включается в повторяющийся цикл взаимодействия.

  2. OpenAI · Function calling and other API updates

    Связь модели с инструментом получает явный формат.

  3. SWE-agent · arXiv v3

    Между моделью и репозиторием появляется специализированный интерфейс ACI.

    Наш разбор
  4. A-MEM · arXiv v11

    Память становится изменяемой частью обвязки с отдельными проверками.

    Наш разбор
  5. Design Patterns for Securing LLM Agents against Prompt Injections · arXiv v3

    Защиту переносят из модели в устройство приложения ценой части полезности.

    Наш разбор
  6. SWE-bench · mini-SWE-agent with GPT-5

    Специальные команды заменены возможностями модели работать с bash.

  7. Anthropic · Effective harnesses for long-running agents

    Состояние работы переживает окно контекста через артефакты.

    Наш разбор
  8. Anthropic · Demystifying evals for AI agents

    Вокруг рабочего цикла появляется отдельная система оценки.

    Наш разбор
  9. On Randomness in Agentic Evals · arXiv v3

    pass@1 одного прогона колеблется на 2,2–6,0 п.п.; разница в 2–3 п.п. может быть шумом.

    Наш разбор
  10. OpenAI · Harness engineering

    Инженерия обвязки охватывает всю среду разработки.

    Наш разбор
  11. Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents? · arXiv v3

    Файлы значимо не повышают долю решённых задач, но в среднем делают задачу дороже на 19–23 %.

    Наш разбор
  12. Anthropic · Harness design for long-running application development

    Проверка становится отдельной ролью с обратной связью исполнителю.

    Наш разбор
  13. Anthropic · Scaling Managed Agents

    Долгая работа становится задачей инфраструктуры, а не только промпта.

  14. Agentic Harness Engineering · arXiv v4

    Над рабочим агентом появляется цикл улучшения его обвязки.

    Наш разбор
  15. Adoption and Impact of Command-Line AI Coding Agents · arXiv v1

    У начавших пользоваться примерно на 24 % больше смерженных PR в течение четырёх месяцев.

    Наш разбор
  16. Harness Engineering: Anatomy, Architecture, and Evolution · arXiv v1

    Обвязка стала платформой через поверхности экосистемы: общий слой расширений (хуки, навыки, MCP, ACP), сервисные поверхности (SDK, серверы), маркетплейсы и импорт сессий, мета-обвязка сверху.

    Наш разбор
  17. Capable language models can outgrow the benefits of collaboration · NMI

    К жизненному циклу добавляются параллельные ветви, обмен свидетельствами и общая приёмка.

    Наш разбор
  18. Harbor Adapters and Harbor-Index · arXiv v3

    С поправкой на сложность бенчмарка разброс эффекта модели в 5,2 раза больше, чем обвязки.

    Наш разбор
  19. OpenAI · Introducing the Agents API

    Приложение задаёт работу и полномочия, платформа обслуживает исполнение.

  20. An Empirical Study of Harness Design for Coding Agents · arXiv v1

    План, инструменты и управление контекстом становятся проверяемыми переменными.

    Наш разбор
  21. Red-Teaming Auto Mode · arXiv v2

    В 79 % испытаний инъекция в монитор давала агенту произвольный bash; часть дыр закрывается дёшево.

    Наш разбор
  22. Where Does Exactly-Once Live? · LIMBO · arXiv v1

    Журнал исполнения и ключ операции дополняют память агента.

    Наш разбор
  23. Beyond the Model · arXiv v1

    К минимальному циклу выборочно добавляются инструменты и специализированные субагенты.

    Наш разбор
  24. SCLATE · arXiv v1

    Рабочая обвязка и память становятся частью обучающей среды.

  25. How Much of a Harness Does a Strong Agent Need? · arXiv v1

    В проверенных задачах ML сложную координацию заменяет одна сессия.

  26. GACC-Bench · arXiv v1

    Контекст становится проверяемым срезом памяти, инструментальных данных и отчётов команды.

    Наш разбор