Материалы Research Insights #46. Сколько обвязки нужно сильной модели? (Рубрика #AI4SDLC)
Материалы Research Insights #46. Сколько обвязки нужно сильной модели? (Рубрика #AI4SDLC)
9 ноября 2026 года вышел сольный выпуск Research Insights Made Simple #46. В выпуске про Harbor я разбирал, как отделить вклад модели от вклада обвязки. В статье "Beyond the Model" вопрос уже про конкретные детали агента. Допустим, поставили модель посильнее. Есть ли смысл по-прежнему запускать субагентов, сжимать историю и вести отдельный план? В работе "Beyond the Model" и "How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?", которые я разбираю в выпуске, ответ зависит от того, что поручили агенту.
В выпуске разобрал
🔸 Что меняется на исправлении багов В прогонах Beyond the Model на SWE-bench Pro преимущество OpenCode над mini-SWE-agent сократилось примерно с 6 п. п. у Qwen3-Max до 2,67 п. п. у Qwen3.7-Max. Это результат для двух конкретных обвязок. Повторы и интервалы для этих прогонов авторы не описали.
🔸 Зачем обвязка на открытой задаче На ProgramBench агенту нужно восстановить программу по документации и поведению эталона. Он сам выбирает, какие входы проверить и когда уже пора писать код. На таких задачах более богатая обвязка помогала и сильным моделям из эксперимента.
🔸 Какую работу отдавать субагенту На 200 задачах ProgramBench авторы NanoHarness проверили компоненты по отдельности на двух моделях. Самые устойчивые прибавки дали файловые инструменты и субагенты с конкретной работой. Например, одному можно поручить исследовать поведение эталона, а другому — проверить, где реализация с ним расходится.
🔸 Сколько стоит сжать историю В том же эксперименте сжатие отдельно от остальных компонентов сократило число входных токенов Qwen3.7-Max примерно на 54%, а оценка упала на 4,86 п. п. По одной только экономии токенов такая правка выглядела бы удачной.
🔸 Что даёт среда исполнения в ML-инженерии Во второй работе самый большой выигрыш дал переход от чата к агенту, который читает и пишет файлы, запускает код и видит результат. При той же сильной модели и равном бюджете времени одна такая сессия в изученных сравнениях оказалась конкурентоспособной со специализированными обвязками.
Материалы выпуска
- Страница выпуска с таймкодами и слайды выпуска - Видео: YouTube, VK Видео - Аудио: Podster, Apple Podcasts - Текстовый конспект
Если после смены модели вы пробовали упростить обвязку, расскажите, что выключили и как это сказалось на ваших задачах.
#ResearchInsights #AI4SDLC #Agents #Evals #Engineering