Проектирование обвязки для кодинговых агентов: что даёт обвязка

Александр Поломодов разбирает An Empirical Study of Harness Design for Coding Agents как способ проверить отдельные компоненты агента. Авторы фиксируют ReAct-цикл и меняют планирование, файловый интерфейс и управление контекстом. Четыре модели проверяются на SWE-bench Verified и Terminal-Bench 2.1. Основная сетка посвящена контексту; отключение плана и готовых инструментов проверяется только при T4 и окне 128 тысяч токенов.

План хранится отдельно от истории и задаёт один текущий шаг. Контекст можно сохранять целиком, заменять старые результаты заглушками, возвращать их из внешнего хранилища или пересказывать. Комбинация вытеснения и пересказа снижает расчётную стоимость, а управление контекстом предотвращает обрыв до попытки исправить код. Возврат удалённых событий используется редко, поэтому наличие внешней памяти ещё не доказывает её пользу.

План продлевает работу слабой модели, которая иначе быстро сдаётся, и сокращает проверки после правки у сильных моделей. Экономия сопровождается небольшим снижением доли успеха. Результат перехода на bash зависит и от модели, и от задач. Mistral показывает противоположные направления на двух наборах задач. Удаление готовых инструментов также убирает встроенную диагностику после редактирования, что ограничивает интерпретацию сравнения.

Траектории помогают различать переполнение контекста, раннюю остановку, лишние проверки и неверные вызовы инструментов. Ведущий предлагает менять компоненты по одному, повторять прогоны и проверять обвязку после смены модели. Один запуск на задачу, ограниченный набор моделей и проблемы SWE-bench Verified не позволяют считать найденные настройки универсальными. Таймкоды составлены по аудиоверсии Podster и могут немного отличаться от YouTube.