Материалы Research Insights #45. Модель или обвязка? (Рубрика #AI4SDLC)

Материалы Research Insights #45. Модель или обвязка? (Рубрика #AI4SDLC)

9 ноября 2026 года вышел сольный выпуск Research Insights Made Simple #45. Если агент завалил задачу, за что браться первым делом? Можно дать ему модель посильнее, а можно разобраться, как обвязка даёт ему инструменты, запускает команды и забирает результат. Авторы "Harbor Adapters and Harbor-Index " сравнили вклад модели и обвязки на 54 бенчмарках (результаты и трейсы доступны на сайте harbor-index.org)

В выпуске разобрал

🔸 Как перенести бенчмарк и сохранить смысл задачи В Harbor у задачи общий формат для инструкции, окружения и проверки результата. Чтобы понять, изменил ли адаптер сам тест, авторы повторяли прогоны в исходном и перенесённом вариантах с теми же моделью и обвязкой.

🔸 Откуда взялись 5,2 раза больше эффекта от моделей, чем от обвязок Каждую из восьми моделей запустили в родной обвязке и в общей Terminus-2. После поправки на различия между бенчмарками размах оценённых эффектов моделей получился в 5,2 раза больше размаха эффектов обвязок. При этом Codex и Claude Code сравниваются через общую Terminus-2. Прямой замер потребовал бы запустить одну и ту же модель в обеих родных обвязках.

🔸 Когда есть смысл платить за модель посильнее В этом эксперименте самый большой выигрыш в баллах пришёлся на задачи средней сложности. Если дорогая модель решает больше задач, сравнивать стоит ещё и цену одного успешного решения.

🔸 Что скрывается за нулём в таблице Агент мог выдать неверный ответ, а мог потратить токены и так и не отправить результат. В обоих случаях балл один и тот же. Чтобы понять, где агент застрял, приходится смотреть журнал его действий.

🔸 Как трудная задача оказывается сломанной В одном задании SWE-bench Pro проверка требовала конкретный формат логов, которого не было в инструкции. Такие расхождения ловили при отборе отдельного набора Harbor-Index. После аудита осталось 82 задачи, а лучший результат на них в третьей версии препринта — 28% у GPT-5.5 с Codex.

Материалы выпуска

- Страница выпуска с таймкодами и слайды выпуска - Видео: YouTube, VK Видео,
- Аудио: Podster, Apple Podcasts - Текстовый конспект

Если бы вы собирали свой бенчмарк для агента, какую задачу из рабочего репозитория положили бы туда первой? И как бы проверили, что агент её решил?

#ResearchInsights #AI4SDLC #Agents #Evals #Engineering