Harness Engineering: анатомия кодинг-агентов (Рубрика #AI4SDLC)

Сколько в работе кодинг-агента зависит от модели, а сколько — от среды вокруг неё? В статье на 80+ страниц "Harness Engineering: Anatomy, Architecture, and Evolution of Coding Agents" интересна попытка разобрать эту среду по исходному коду. Paul Barbaste и коллеги из Wavestone AI Lab и Inclusive Brains рассматривают 11 агентных систем, включая Claude Code, Codex, OpenHands и Pi, а отдельно — метаобвязку Omnigent. Делают это они по срезу на июль 2026 года. Авторы изучают архитектуру агентов по исходному коду, а общего эксперимента на одинаковых задачах здесь нет.

В статье я бы выделил четыре части

🔸Анатомия harness Семь подсистем: рабочий цикл, интеграция с LLM, инструменты, память и контекст, безопасность, оркестрация и расширения. Карта помогает понять, где именно различаются агенты: как применяют правки, восстанавливают работу и решают, что задача завершена.

🔸 Инженерные механизмы Как сжимать историю, не потеряв цель; кому разрешать записывать долговременную память; как разделять стабильную и меняющуюся части промпта ради кэша. Особенно важен переход от текстовой просьбы соблюдать правило к проверке в исполняемом коде.

🔸Общие паттерны и компромиссы По аудиту авторов, в изученных системах нет универсальных агентных фреймворков в основном runtime и векторного поиска по коду. Вместо последнего — поиск по тексту, файлам и структуре программы. А простой агент может обходиться небольшим циклом и shell-инструментом; продуктовая сложность добавляет безопасность, восстановление и интеграции.

🔸 Платформенный поворот SDK, skills, плагины, перенос сессий и корпоративные политики превращают обвязку в среду, поверх которой строят другие продукты. Авторы считают, что конкуренция смещается к экосистемам. Но сами же описывают метаобвязки, способные сделать отдельные harness заменяемыми.

К посту приложен PDF с моими заметками, где я на полях оставлял вопросы к выводам авторов и идеи, которые хочется проверить. Вот несколько точек для обсуждения.

1️⃣ «А гипотезы какие?» к выводам авторов (на странице 2) Если в выбранных системах нет LangChain или векторного поиска, следует ли из этого, что они не нужны? Отсутствие технологии в выборке ещё не доказывает её бесполезность. В рекомендациях авторы местами делают более сильный вывод, чем позволяет метод исследования.

2️⃣ «Что измерять кроме success rate?» к резульатам бенче (на странице 58) На полях у меня предположение: возможно, задачи SWE-bench уже слишком просты для такого сравнения. Это ещё надо проверять. Но стоимость принятого решения, число вмешательств человека и способность восстановиться после сбоя точно заслуживают отдельного измерения. Одинаковый процент решённых задач может скрывать очень разный опыт работы.

3️⃣ «Где здесь сетевые эффекты?» при обсуждении платформенной экономике в harnesses (на странице 61) Накопленная память и настройки усложняют переход между продуктами. А больше пользователей может привлекать авторов расширений, делая платформу полезнее. Это разные механизмы. Причём переносимые skills могут усиливать всю экосистему и одновременно ослаблять зависимость от конкретной обвязки.

4️⃣ Про совместную эволюцию модели и harness (на страницах 55-56) По мере улучшения модели часть обвязки, возможно, стоит упрощать. Хорошая тема для эксперимента: какие механизмы действительно помогают, а какие продолжают компенсировать уже исчезнувшие ограничения? Мы это уже разбирали в одной из прошлых серий Research Insights

Завтра, 20 октября, в 11:30 по Москве будет прямой эфир с разбором этого whitepaper. Пройдёмся по архитектуре, спорным выводам и пометкам в PDF. Приходите со своими вопросами.

#AI4SDLC #Agents #Architecture #Research #PlatformEngineering