Не сумма модели и обвязки, а производственная система во времени
Формула Agent = Model + Harness полезна как первое приближение, но слишком быстро становится ловушкой. Она выносит за скобки стоимость вывода модели, реальную среду действий, идентичность, проверку результата и контур обратной связи. В итоге две команды могут купить одну контрольную точку и получить совершенно разный продукт: одна даст модели знакомое изменение, ограниченную оболочку и короткие результаты инструментов, другая — сотню новых схем JSON, шумный контекст и подтверждение каждого безопасного шага.
У системы минимум шесть слоёв, и каждый отвечает на свой вопрос. Оценка модели описывает способность в заданном бенчмарке. Обвязка агента определяет, какой контекст и путь восстановления доступны. Среда выполнения превращает намерение в проверяемое изменение. Проверки показывают, пережило ли качество новый выпуск. Трассы дают материал для диагностики — но ещё не разрешение на обучение.
| Слой | Что входит | Что определяет |
|---|---|---|
| Оборудование и обслуживание | Точность, память, соединения, ядра, кеш, планировщик | Цена и задержка экономически достижимого поведения |
| Модель и дообучение | Веса, SFT/RL, траектории использования инструментов, привычные форматы действий | Способность и поведенческие склонности |
| Обвязка | Контекст, планирование, сжатие, сохранение состояния, изоляция, подтверждения | Как долго и в каком мире действует модель |
| Инструменты и среда | Оболочка, примитивы редактирования, API, MCP, виртуальная машина, идентичность, секреты | Какие последствия вообще доступны агенту |
| Проверки и результаты | Воспроизводимые эпизоды, проверяющие программы, повторные запуски, допуски к выпуску | Можно ли безопасно сравнивать изменения |
| Трассы и управление | Вызовы, ошибки, задержка, разрешения, итоговое состояние, срок хранения | Как отказ превращается в доказательство |
Внутренний контур живёт днями и неделями: команда меняет описания инструментов, упаковку контекста, бюджеты, маршрутизацию и допуски к выпуску. Внешний — месяцами и годами: дообучение, архитектура обслуживания, ускоритель и сетевая фабрика. Локальный отказ не всегда требует новой модели. Но если один класс ошибок повторяется на тысячах эпизодов, сигнал может подняться выше — в обучение, среду выполнения или следующее поколение оборудования.
Оборудование задаёт пространство экономически возможных моделей
Ускоритель важен не только числом FLOPS. В Hopper Transformer Engine связывает FP8/FP16 с трансформерами, а NVLink — с ценой коммуникации между GPU. Blackwell развивает уже систему масштаба стойки, а в анонсе Vera Rubin NVIDIA прямо говорит о предельном совместном проектировании: CPU, GPU, соединения, хранение и сеть проектируются как один контур. Числа ускорения и TCO на этих страницах — заявления вендора; сам вектор проектирования наблюдается напрямую.
Самый наглядный сдвиг — расхождение обучения и вывода модели. Google TPU 8t и 8i стали двумя системами: первая оптимизирована под крупный предварительное обучение, вторая — под обслуживание, выборку и длинные рассуждения. Память, встроенная SRAM, сеть и коллективные операции меняются вместе с формой MoE и агентной нагрузки. Для CTO это означает, что тариф «за токен» скрывает решения поставщика о пакетной обработке, кеше, задержке и доступной ёмкости.
При этом полная вертикаль не является единственным путём. DeepSeek-V3 показывает обратное совместное проектирование: команда адаптировала FP8, MoE, балансировку экспертов и среду обучения к доступным H800. Отчёт о часах GPU остаётся самоотчётом, но архитектурная реакция на ограничение задокументирована. Anthropic и Annapurna Labs демонстрируют ещё один вариант — плотный партнёрский контур без владения облачным гиперскейлером.
Модель учится действовать не вообще, а в конкретной среде
Вызов функций проверяет способность сформировать запрос. Реальный агент должен ещё выбрать инструмент, пережить ошибку, продолжить после большого результата, проверить эффект и не расширить свои полномочия. Эти привычки формируются на распределении пространств действий, которое модель видела при дообучении.
Cursor описывает, как неделями адаптирует обвязку к новой модели: моделям OpenAI даёт знакомое редактирование изменениями, моделям Anthropic — замену строк. В отдельном разборе Codex команда меняла названия инструментов, преамбулу, обратную связь линтера и обработку трассы рассуждений, потому что модель была обучена сначала работать через оболочку. Это наблюдения компании, не открытый набор данных A/B, но они хорошо согласуются с природой дообучения.
Обвязка нужна не потому, что модель «недостаточно умна», а потому, что автономная работа требует протокола. Codex App Server включает жизненный цикл и постоянные ветки, конфигурацию и аутентификацию, изолированную среду, MCP и навыки под общей моделью политик. В экспериментах Anthropic с долго работающими агентами одной высокоуровневой подсказки и сжатия оказалось мало: понадобились инициализатор, список функций, артефакты прогресса, история Git и малые итерации.
По мере роста надёжности ответственность перемещается. Cursor раньше жёстко перепроверял задачу, принудительно выполнял коммит и отправку и отдельно забирал журналы CI. Затем эти действия стали обычными инструментами под управлением модели. Но вокруг более слабого управления компьютером выросли отдельные маршрутизация, подагент и запись экрана. Обвязка не «заканчивается»: он перестаёт контролировать созревшую способность и начинает страховать новую.
Инструменты недостаточно подключить — их нужно спроектировать для поведения
MCP решает важную, но узкую задачу. Спецификация инструментов стандартизует обнаружение, схему и семантику вызова. Она не обещает, что модель видела похожую схему, выберет правильный инструмент среди десятков, получит компактный ответ или выполнит действие с корректной идентичностью.
Большой каталог может оказаться хуже нескольких знакомых примитивов. В кейсе code execution поверх MCP Anthropic показывает цену прямого подключения: схемы занимают контекст, а промежуточные результаты каждый раз проходят через модель. Пример с расшифровкой встречи добавлял около 50 тысяч токенов. Постепенное обнаружение и выполнение кода оставляют большие данные в изолированной среде, возвращая модели только нужный результат. Это не делает оболочку безопасной автоматически: вместе с композиционностью появляется новая поверхность политик пакетов, сети и секретов.
| Грань | Что зафиксировать | Какой отказ предотвращает |
|---|---|---|
| Граница | Одно действие и отличие от соседних инструментов | Неверный выбор инструмента |
| Результат | Компактный, структурированный, ограниченный | Переполнение контекста и потеря происхождения |
| Ошибки | Стабильный код, причина и допустимое следующее действие | Слепые повторы и зацикливание |
| Полномочия | Идентичность, область доступа, OBO и невозможность расширить права подсказкой | Действие не от того субъекта или не в той среде |
| Эффект | Идемпотентность либо явная необратимость | Повторное разрушительное действие |
| Проверяемость | Происхождение, воспроизведение и сценарии оценки | Невозможно доказать полученный результат |
Поэтому внутренний инструментальный шлюз — не вспомогательный инфраструктурный проект. Это поведенческий продукт платформенной команды. Его преимущество находится не в числе подключённых серверов, а в качестве контрактов и в данных о том, как агенты ошибаются при выборе, аргументах, отказе и восстановлении.
Трассы замыкают цикл — но не дают автоматического права обучать
Слово «трасса» часто используют как сокращение для магического самоулучшения. Полезнее развести четыре режима. Infrastructure telemetry оптимизирует обслуживание и таймауты. Продуктовая телеметрия показывает ошибки выбора инструментов, остановки из-за прав и сбои сжатия. Оценка результата связывает эпизод с тестами, слиянием, откатом или пользовательской коррекцией. Траектория обучения — специально отобранный и разрешённый поэтапный запуск с наградой или проверяющей программой.
Различие между траекторией и итогом принципиально. В методике Anthropic расшифровка — это последовательность шагов, а результат — состояние среды после работы. τ-bench добавляет надёжность серии прогонов: единичный успех не доказывает стабильность. GitHub отдельно проверяет выбор инструментов и аргументов MCP Server, а Databricks связывает сценарии, похожие на рабочие, трассы и регрессионные допуски. Всё это улучшает систему без изменения весов.
Даже если поставщик обучает модель в реалистичной среде, нельзя автоматически приписывать обучение всем клиентским сессиям. Cursor Privacy Mode запрещает использование клиентских данных для обучения; Anthropic отделяет коммерческие сессии от программ с явным согласием, а OpenAI по умолчанию не обучается на входах и выходах корпоративного API. Наблюдаемость, использование для оценки и обучение модели требуют разных политик, сроков хранения и правовых оснований.
рабочий отказ → трасса + итоговое состояние → воспроизводимая проверка → изменение обвязки, инструмента или модели → повторный допуск → управляемый запуск
Общая схема телеметрии, например развивающиеся OpenTelemetry GenAI conventions, снижает стоимость экспорта. Но формат полей не определяет срок хранения, очистку и право обучения. Эти решения остаются у владельца системы.
Полураспад обвязки: сильная метафора, слабая метрика
Исходная гипотеза звучала провокационно: за 180 ± 60 дней половина значимой обвязки становится не нужна, заменяется или удаляется. Проверять её по текучести строк нельзя: большая разница интерфейса не обязательно меняет поведение агента. Поэтому в исследовании были зафиксированы десять механизмов — контекст, сжатие, планирование, редактирование, политики, обнаружение, изоляция, сохранение состояния, оркестрация и телеметрия с проверками — и просмотрена публичная история Codex, Gemini CLI и OpenCode.
Во всех трёх проектах за полгода существенно затронуты не менее семи механизмов. Но по строгому критерию — старый поведенческий путь действительно выведен, а не живёт рядом за флагом функции — достаточно ясная замена видна примерно у трёх-четырёх из десяти. Два независимых проекта с доказанными ≥ 5/10 не нашлись.
Погрешность здесь эпистемическая, а не статистическая. История Git не всегда показывает долю запуска, состояние развёртывания и роль флагов функций. Молодость проектов тоже увеличивает видимый темп. Зато стратегический вывод устойчив: собственная общая обвязка — не одноразовая сборка, а бессрочная программа совместимости.
Рынок концентрируется вокруг контуров, а не одного победителя
Интеграция ускоряет обратную связь. Команда, которая одновременно видит поведение модели, продуктовые трассы и результат, быстрее связывает регрессию с нужным слоем. Высокая стоимость обучения передовых моделей, изоляции на нескольких ОС, ферм проверок и корпоративного архитектурного управления усиливает эффект масштаба. Но из этого не следует, что победит одна компания, владеющая всем.
Три разных пути к короткому циклу
- Google связывает TPU, сеть, компилятор, модель, облако и распространение — это полная вертикаль от оборудования до продукта.
- Anthropic владеет моделью и обвязкой, а совместное проектирование оборудования строит как партнёрство с AWS.
- Cursor начал с рабочего процесса разработчика и распространения, накопил трассы и проверки, затем добавил собственное дообучение и модельный слой.
Контрсилы тоже реальны. Открытые веса DeepSeek, Qwen и GLM снижают барьер смены поставщика. Qwen Code и OpenCode выносят интерфейс сессии, разрешения и часть инструментов из-под контроля одной лаборатории. MCP и совместимые API уменьшают стоимость интеграции. RouteLLM показывает сам принцип маршрутизации между сильной и дешёвой моделями. А корпоративная среда может быть настолько специфична, что универсальный поставщик не видит ни полномочий, ни конечного результата.
Поэтому более вероятны несколько экосистем с собственными быстрыми путями, чем единая универсальная среда выполнения. Преимущество возникает там, где организация контролирует несколько соседних слоёв и имеет канал доказательств между ними. Полное владение — лишь один из вариантов.
Граница для CTO: арендовать, адаптировать, оставить своим
Решение полезнее проводить не по логотипам поставщиков, а по двум осям: скорость изменения и уникальность для компании. Возможности передовых моделей меняются быстро и редко являются корпоративной спецификой. Идентичность, политики, доменные контракты действий и принятые результаты, наоборот, медленнее устаревают и определяют, что система вообще имеет право считать успехом.
| Режим | Что относится | Почему |
|---|---|---|
| Арендовать | Передовые модели, общая обвязка, типовое исполнение | Редко уникально; быстро меняется и требует масштаба |
| Адаптировать | Адаптеры моделей и инструментов, упаковка контекста, маршрутизация, бюджеты, сжатие | На стыке встречаются поведение поставщика и локальная среда |
| Оставить своим | Идентичность, политика, контракты инструментов, набор проверок, результаты, управление трассами | Это уникальное знание, полномочия и основа переносимости |
Что не стоит строить по умолчанию
- ещё один общий цикл агента разработки только ради смены конечной точки API;
- собственное сжатие или оркестрация без регрессионного набора на реальных эпизодах;
- каталог сотен MCP-инструментов без владельцев, ограничений ответа и телеметрии выбора;
- «самообучение», в котором рабочие журналы автоматически считаются разрешёнными данными для обучения;
- шлюз, приводящий всех поставщиков к общему минимуму и скрывающий их сильные стороны;
- форк обвязки с открытым кодом без команды, отвечающей за слияние вышестоящих изменений, безопасность и совместимость с моделями.
Собственная обвязка оправдана, когда одновременно сходятся несколько условий: уникальная среда действий, суверенность или экстремальные ограничения задержки, достаточный объём, зрелые проверки и готовность поддерживать быстрые пути для конкретных моделей. Самое сильное условие — возможности агента являются частью внешнего продукта и стратегического преимущества. Наличия талантливой платформенной команды самого по себе недостаточно.
Практический контур: от отказа к управляемому выпуску
Перенести идею совместного проектирования в компанию можно без собственного ускорителя и базовой модели. Нужно замкнуть тот участок цикла, который компания действительно контролирует: её задачи, полномочия, инструменты, итоговые состояния и решение о запуске.
Минимальная программа на один квартал
- 01Выбрать 20–30 реальных эпизодов. Зафиксировать чистое исходное состояние, контракт задачи, допустимые инструменты и проверяемый результат.
- 02Разделить режимы трасс. Отдельно определить рабочую телеметрию, проверку человеком, использование для оценки и допустимые траектории обучения.
- 03Инвентаризировать контракты действий. Для каждого критичного инструмента записать идентичность, область доступа, идемпотентность, ограничение ответа, происхождение и владельца.
- 04Собрать независимое от поставщика воспроизведение. Хранить эпизод, версию среды, версии модели, обвязки и инструментов и доказательство итогового состояния в переносимом формате.
- 05Ввести повторные допуски к выпуску. Сравнивать не один удачный запуск, а качество, дисперсию, стоимость, безопасность и приёмку человеком.
- 06Тестировать слой, а не бренд. При регрессии менять описание инструмента, контекст, политику, маршрутизацию или модель только через контролируемый эксперимент.
В этом контуре поставщик приносит быстро меняющуюся возможность, а компания сохраняет право выпуска. Новая модель может быть дешевле и сильнее в публичном бенчмарке — рабочий запуск всё равно проходит через внутренние эпизоды, проверки политик и сравнение принятых результатов. Это и есть практическая защита одновременно от технической и доказательной зависимости от поставщика.
Что стоит унести с собой
- 01Качество AI-агента — свойство конкретной конфигурации «модель × обвязка × инструменты × среда» во времени, а не постоянная оценка одной модели.
- 02MCP и совместимый API снижают стоимость подключения, но не гарантируют знакомое модели поведение, качественное восстановление или богатую семантику сессии.
- 03Публичная история подтверждает быстрый цикл перенастройки обвязки, но не подтверждает буквальную замену её половины каждые полгода.
- 04Рабочая трасса, эпизод оценки и траектория обучения — разные режимы данных; право наблюдать не создаёт автоматически права обучать.
- 05Компании выгодно арендовать быстро меняющуюся общую способность, адаптировать стык и владеть полномочиями, контрактами, результатами, проверками и планом выхода.
Первичные материалы, исследования и документация
- 01NVIDIA · Hopper Architecture — Transformer Engine, FP8/FP16 и NVLink; показатели производительности — данные вендора.
- 02NVIDIA · Blackwell Architecture — rack-scale co-design, precision и interconnect.
- 03NVIDIA · Vera Rubin platform — анонс extreme codesign; относительная экономика — заявление компании.
- 04Google Cloud · TPU 8t and TPU 8i technical deep dive — разделение систем для pretraining и inference/reasoning.
- 05Google Cloud · Ironwood TPUs and Axion VMs — совместное проектирование silicon, систем и software.
- 06DeepSeek · DeepSeek-V3 repository and report — FP8, MoE и адаптация training framework к H800; затраты — самоотчёт команды.
- 07Anthropic · Expanding our use of AWS Trainium — пример партнёрского hardware/model co-design.
- 08Cottier et al. · The rising costs of training frontier AI models — исторические оценки и сценарии стоимости frontier training.
- 09OpenAI · Unlocking the Codex harness — core loop, persistence, sandbox, MCP и границы session semantics.
- 10OpenAI · Harness engineering — agent-readable scaffolding и feedback loops; productivity — самооценка компании.
- 11Anthropic · Effective harnesses for long-running agents — initializer, progress artifacts, feature list и малые итерации.
- 12Anthropic · Harness design for long-running apps — planning, verification и передача состояния между окнами контекста.
- 13Anthropic · Effective context engineering for AI agents — compaction, structured notes, subagents и just-in-time retrieval.
- 14Anthropic · Claude Code sandboxing — связь isolation и автономности; сокращение approval prompts — внутреннее измерение.
- 15Cursor · Continually improving our agent harness — многонедельная адаптация под модели и различия edit primitives.
- 16Cursor · Improving the harness for OpenAI Codex models — shell-first behavior, tool naming и lint feedback.
- 17Cursor · What we’ve learned building cloud agents — перенос процедурной логики из harness в доступные модели tools.
- 18Cursor · Composer 2 technical report — RL в production-like sessions и собственный eval-контур; benchmarks — заявления компании.
- 19Cursor · Self-summarization — обучение модели работать с compaction внутри training loop.
- 20Cursor · Data Use & Privacy Overview — Privacy Mode, ZDR и границы допустимого использования данных.
- 21Alibaba Qwen · Qwen3-Coder — long-horizon RL и 20 тысяч environments — заявление команды.
- 22Alibaba Qwen · Qwen Code — открытый multi-provider harness с предпочтительным fast path для Qwen.
- 23THUDM / Z.ai · slime — открытый RL framework: rollouts, tools, sandbox feedback и verifier rewards.
- 24Model Context Protocol · Tools specification — нормативный контракт discovery, schemas и calls.
- 25Anthropic · Code execution with MCP — progressive discovery и обработка больших промежуточных данных вне контекста модели.
- 26Anthropic · Writing tools for agents — влияние names, descriptions, schemas и response shape на поведение агента.
- 27Wang et al. · Executable Code Actions Elicit Better LLM Agents — исследование кода как композиционного action space.
- 28Yao et al. · τ-bench — надёжность tool agents по повторным прогонам и конечному состоянию.
- 29Anthropic · Demystifying evals for AI agents — различие transcript/trace и outcome, graders и eval harness.
- 30GitHub · Offline evaluation of GitHub MCP Server — проверка выбора tools и аргументов до релиза.
- 31Databricks · coSTAR — production-like scenarios, traces и regression gates; результаты — self-report.
- 32OpenTelemetry · GenAI semantic conventions — поля agent/tool/evaluation telemetry и предупреждения о чувствительных данных.
- 33Anthropic Privacy Center · Model training data policy — границы использования commercial chats и coding sessions.
- 34OpenAI Help Center · How data is used to improve model performance — различие consumer controls и business/API no-training defaults.
- 35OpenAI · Codex repository — публичная история изменений harness для проверки cadence.
- 36Google · Gemini CLI repository — публичная история context, policy, persistence и subagent mechanisms.
- 37Anomaly · OpenCode repository — публичная история model-agnostic harness и v2-миграций.
- 38Ong et al. · RouteLLM — маршрутизация между сильными и дешёвыми моделями как контрпример single-provider подходу.