Harbor: как понять, почему агент провалил задачу (Рубрика #AI4SDLC)

Harbor я бы назвал USB-концентратором в мире бенчмарков. Допустим, у вас m агентов и n бенчей. Если стыковать каждого с каждым, понадобится до n × m интеграций, а с общим интерфейсом каждый агент и каждый бенч подключаются к Harbor один раз. Получается n + m :)

А вообще в препринте Harbor Adapters and Harbor-Index Лин Ши, Хаовэй Линь и соавторы сделали три вещи.

1️⃣ Перенесли больше 80 бенчмарков в общий формат Harbor. У задачи есть инструкция, среда, проверка и эталонное решение. Авторы сверяли результаты адаптаций с оригинальными реализациями.

2️⃣ Прогнали 8 моделей на 6 627 задачах из 54 бенчмарков. Каждую связку, которую хочешь оценить, всё равно надо прогнать. Для каждой модели авторы сравнили общую обвязку Terminus-2 и обвязку её разработчика, по три повтора на конфигурацию. По их подсчёту, на эксперимент ушло 226 млрд токенов и больше $300 тыс. вычислительных затрат (дорого нынче стоят прогоны бенчей).

3️⃣ Собрали Harbor-Index 1.0 — 82 задачи из 29 бенчмарков. Сначала отобрали задачи, которые сильные модели редко решали. Потом проверили их автоматически и вручную, часть исправили и прогнали заново. На ручном аудите примерно треть трудных кандидатов отсеяли из-за дефектов. В отдельном эксперименте на индексе лучший результат в статье — 28% у GPT-5.5 с Codex.

С GAIA2 получилось наглядно. На четырёх задачах, дошедших до ручного аудита, адаптер так и не отправлял события, которых ждала проверка. Как бы агент ни действовал, прогон заканчивался по тайм-ауту.

Что я отметил на полях

🔸 Сколько бенчей нужно, чтобы различить модели? Авторы подобрали 12 бенчмарков. У каждого оставшегося нашёлся хотя бы один из этих 12, где порядок систем был похожим. Внутри одного бенча иногда хватает и трёх специально выбранных задач. Но их подбирали по результатам тех же систем. Я бы с интересом посмотрел, сохранится ли этот порядок на следующем поколении моделей.

Ещё отметил вывод про обвязку. В большом эксперименте разброс результатов, связанный с выбором модели, оказался больше, чем с выбором обвязки. А в таблице индекса одна и та же GPT-5.5 набрала 19,5% с Terminus-2 и 28% с Codex. Кстати, колонку Native Harness надо читать с оговоркой. Для шести моделей через OpenRouter там стоит Claude Code.

🔸 Я бы считал цену успешного решения На графике сильные модели тратят меньше токенов, но попытка обходится в 2–3 раза дороже. Я прикинул по рис. 3, что получится, если поделить цену попытки на долю успеха. В самой трудной корзине у сильных моделей 4% успеха против 1% у остальных. При таком разрыве более дорогие попытки могут давать более дешёвое решение. Это грубая прикидка. Доли успеха округлены, а сложность задач оценена по результатам тех же прогонов.

🔸 А чек-лист из приложения D.7 я забрал себе. По нему проверил один из своих evals для кодинг-агентов. В одном контрольном случае исправное решение получало fail, потому что Node не мог запустить тесты по указанному пути. В другом проверяющий засчитывал три пустых теста: он считал, сколько тестов прошло, а их содержимое не сверял. После правки повторил контрольные случаи. Исправное решение проходит, ошибка в коде видна в логе упавшего теста, а подмена тестов отклоняется. Из всей статьи мне больше всего пригодился именно этот приём: прогнать через проверяющего эталон и заведомо плохую сдачу и посмотреть, что он им засчитает.

P.S. В понедельник поговорим про этот whitepaper подробнее в прямом эфире Research Insights Made Simple (думаю, что на выходных прогоню этот индекс для какой-нибудь из китайских моделей на пробу и расскажу на стриме насколько это просто).

#AI4SDLC #AI #Agents #Evals #Research #Engineering