К основному содержимому
к выпуску
Конспект выпуска2026Fellow

AI-разработка как эволюционирующий стек: где возникает преимущество

В сольном выпуске Александр Поломодов предлагает смотреть на AI-разработку не как на выбор лучшей модели, а как на производственную систему из железа, модели, обвязки, инструментов, трейсов и проверок. Результат определяет согласованность слоёв: какие действия знакомы агенту, какие полномочия ему выданы, как фиксируется итог и насколько быстро сбой превращается в проверенное улучшение.

Research Insights Made Simple #276 минут

Конспект сокращён относительно полного выпуска; примеры и оценки передают опыт и позиции участников.

Основная линия материала
01

Система важнее отдельной модели

Одна и та же модель даёт разное качество в зависимости от упаковки контекста, примитивов действий, границ полномочий и доказательств результата. Поэтому полезная единица анализа шире формулы «модель плюс обвязка». Железо задаёт экономику достижимого поведения, модель — способности и привычки, обвязка — состояние и протокол работы, инструменты — последствия, трейсы — материал для диагностики, а проверки — право выпуска. Слабость любого слоя ограничивает весь результат: более сильная модель не исправит недоступный контекст, опасный инструмент или неверный критерий приёмки. Зато улучшение интерфейса и обратной связи иногда раскрывает уже существующую способность без нового обучения, поэтому сравнивать модели отдельно от среды некорректно.

Эти слои живут в двух темпах. Описания инструментов, маршрутизацию, сжатие контекста, бюджеты и release gates команда меняет за дни или недели; ускорители, архитектуру serving и обучение модели — за месяцы или годы. Локальный сбой разумно сначала чинить в быстром контуре. Только повторяющийся класс ошибок, подтверждённый множеством эпизодов, стоит поднимать в post-training или инфраструктуру. Такой порядок сохраняет обратимость: команда проверяет дешёвую гипотезу до капитального решения. Если ошибка исчезла после уточнения инструмента или eval, это доказательство о природе проблемы; если возвращается в разных средах, появляется основание менять более медленный слой.

02

Среда действий формирует поведение

Модель учится действовать не вообще, а в знакомом мире названий, ошибок и примитивов. Cursor описывает многонедельную адаптацию обвязки к разным моделям; опыты Anthropic с долгими задачами потребовали состояния между окнами, Git-истории, малых проверяемых итераций и восстановления. По мере усиления модели жёсткая процедура может стать доступным ей инструментом, но обвязка не исчезает: она переносит каркас к следующей слабости. Долгая задача особенно ясно показывает эту зависимость: окно контекста заканчивается, процесс прерывается, а намерение и проверяемое состояние должны пережить конкретную сессию. История изменений превращается из удобства разработчика в память системы и точку безопасного отката.

MCP стандартизует обнаружение и вызов инструментов, но не гарантирует верный выбор, безопасные полномочия или проверяемый эффект. Полный контракт действия включает identity и scope, идемпотентность или явную необратимость, компактный ответ, понятную ошибку, аудит и конечное состояние. Трейс тоже имеет разные режимы: эксплуатационная телеметрия, материал для проверки и разрешённая обучающая траектория требуют разных правил хранения, очистки и использования. Удобный протокол решает совместимость формы, а не семантику последствия. Поэтому владелец инструмента должен описать, что именно изменилось, как повторный вызов поведёт себя после таймаута и каким независимым сигналом агент подтвердит завершение действия.

03

Владеть нужно контуром доказанного изменения

Красивый трейс не доказывает полезный результат, а единичный успех — надёжность. Для каждого реального эпизода нужно сохранять исходное и конечное состояние, контракт задачи, версии модели, обвязки и инструментов, затем воспроизводить его в фиксированной среде. В контролируемом эксперименте меняется один слой, после чего серия прогонов проверяет качество, разброс, стоимость, безопасность и человеческую приёмку до нового допуска. Каталог эпизодов соединяет эксплуатацию и развитие: сбой становится воспроизводимым примером, а удачный результат — кандидатом в регрессионную проверку. Без версии всех слоёв команда видит изменение метрики, но не может объяснить, какая часть стека его вызвала.

Передовые модели и типовой агентный цикл обычно выгоднее арендовать; упаковку контекста, интеграцию обвязки и описания инструментов — адаптировать. Своими должны оставаться identity, политики, доменные контракты действий, каталог эпизодов и критерии принятого результата. Исследование публичных репозиториев не подтвердило буквальный шестимесячный «полураспад» обвязки: явно заменились примерно три-четыре механизма из десяти, хотя семь и более существенно перенастраивались. Значит, собственная обвязка требует постоянной программы совместимости и оправдана лишь уникальной средой, ограничениями, масштабом, зрелыми проверками и стратегической ролью агента. Граница владения проходит там, где находится специфический риск и конкурентное знание организации. Универсальный цикл можно заменить, но историю решений, права на действия и определение принятого результата нельзя безболезненно отдать поставщику.

Выводы

Что стоит унести с собой

  1. 01Качество AI-разработки определяется всей производственной системой, а не местом модели в рейтинге.
  2. 02Локальные отказы следует исправлять в быстром контуре; обучение и железо нужны для устойчивых повторяющихся классов проблем.
  3. 03Ценность инструментального шлюза создают управляемые контракты действий и проверяемые последствия, а не число подключённых MCP-серверов.
  4. 04Долговечный актив компании — воспроизводимые эпизоды, собственные политики и независимое право допускать изменения к выпуску. После обновления модели повторяйте replay и сравнивайте качество, стоимость, разброс и число вмешательств человека на неизменном наборе задач после каждого обновления.

Источники