Модель или обвязка: что сильнее влияет на результат агента?

У каждого бенчмарка свой способ передать задачу агенту и оценить результат. Если интегрировать каждый агент с каждым набором отдельно, число интеграций растёт как произведение числа агентов и наборов. Ведущий сравнивает Harbor с USB-концентратором. Бенчмарк один раз переводят в общий формат, агент один раз подключают к общей инфраструктуре, после чего можно запускать новые комбинации без отдельной интеграции для каждой пары.

Задача в Harbor задаёт инструкцию, среду исполнения и проверку итогового состояния. В более привычном тесте модель может получить вопрос и вернуть короткий ответ. В агентном режиме ей можно дать файлы и инструменты, чтобы она сама добывала сведения и выполняла работу. При таком переносе важно проверить, что задача сохранила смысл. Изменение шаблона запроса, образа среды или доступного инструмента способно сдвинуть балл даже у той же модели.

Для проверки паритета авторы запускают исходный тест и адаптацию с сопоставимыми параметрами, повторяя прогоны. В выпуске сравниваются примеры, где результаты близки, и случай FrontierCS, где на небольшой выборке разница заметнее. Такой контроль помогает отделить эффект переноса от обычного разброса между попытками.

В большом эксперименте восемь моделей из нескольких семейств проходят 54 бенчмарка. Каждую запускают в родной обвязке и в общей Terminus-2. Авторы учитывают, что разные бенчмарки дают разные базовые уровни успешности. После этой поправки размах оценённых коэффициентов моделей составляет около 45 процентных пунктов, а обвязок — около девяти. Отношение этих диапазонов и даёт 5,2. По нему можно судить о масштабе различий в изученных конфигурациях.

Ведущий обращает внимание на устройство сравнения. GPT в Codex сравнивают с GPT в Terminus-2, а Claude в Claude Code — с Claude в Terminus-2. Общая обвязка соединяет эти группы, но прямого прогона одной модели и в Codex, и в Claude Code здесь нет. Оценка обобщает эффект внутри матрицы эксперимента, поэтому для конкретной пары модели и обвязки полезно измерять разницу отдельно.

Авторы группируют задачи по тому, насколько часто их решают изученные конфигурации. На простых задачах срабатывают и более дешёвые модели. На другом краю шкалы даже сильные модели решают мало. Ведущий приводит пример перехода примерно с 1 до 4 % на самых трудных задачах. Относительный выигрыш велик, но новых решений всё равно немного. На задачах промежуточной сложности запас для прироста заметно больше.

Цена попытки даёт только половину картины. Если конфигурация стоит дороже, но решает больше задач, стоимость одного успешного решения может оказаться сопоставимой. Отдельный взгляд на траектории помогает понять, что именно оплачивается. Агент может ошибиться в алгоритме, получить неверный ответ или успеть поработать, но так и не отправить результат. В последнем случае агрегированный процент скрывает проблему исполнения, которую можно искать в обвязке.

Harbor-Index — отдельный эксперимент на 82 задачах. При отборе кандидатов три модели пробовали каждую задачу в двух обвязках, по три раза на конфигурацию. Дальше проходили задачи, решённые не более чем в шести попытках из 18. После этого аудитор и рецензенты проверяли формулировки, проверяющий код и траектории. Так из большого пула остались задачи из 29 бенчмарков.

Низкая успешность сама по себе мало говорит о качестве задания. В одном примере инструкция требует исправить ошибку, а проверка дополнительно ждёт определённого формата логов. Агент может выполнить явно поставленную задачу и получить ноль. Рецензенты чинят такие расхождения, после чего некоторые задачи становятся слишком лёгкими для индекса. В третьей версии препринта лучший результат на итоговом наборе составляет 28 %. Это другой набор задач и моделей, чем тот, по которому оценивали размах коэффициентов.

Смена обвязки на этом индексе меняла и цену. В таблице препринта прогон GLM 5.2 через Claude Code и OpenRouter оценён в 205 долларов за семь решённых задач, а в Terminus-2 — в 52 доллара за восемь. Разница в одно решение на таком наборе даёт слабое основание для вывода о качестве. Разница в оценке расходов существенна для планирования следующих прогонов. Авторы указывают на долю попаданий в кеш как на возможное объяснение высокой цены, поэтому сравнение стоит повторять в своей схеме доступа к модели.

Даже при близкой доле успеха две конфигурации могут решать разные задачи. В выпуске отдельно обсуждаются ограничения Terminus-2, где доступ к возможностям среды идёт через Bash. Если задача требует работы с изображением или поиска, отсутствие подходящего инструмента способно изменить ход решения. Тайм-аут тоже зависит от устройства прогона. Короткий лимит может остановить агента, который при большем бюджете успел бы завершить работу.

На вопрос из чата об агентах для 1С ведущий предлагает сначала собрать проверяемый набор именно для этого домена. Общий индекс даёт способ организовать эксперимент. Ответ о пригодности агента зависит от задач, которые ему поручат. В конце выпуска ведущий сопоставляет ранний блог Harbor-Index с третьей версией препринта. Числа в этих источниках различаются, поэтому рядом с результатом стоит сохранять версию публикации, модель, обвязку и условия прогона.