AI-разработка как совместно эволюционирующий стек

Александр Поломодов рассматривает AI-разработку как систему из железа, модели, harness, инструментов, трейсов и evals. Одна модель даёт разное качество при разном контексте и полномочиях: железо задаёт экономику, tools — последствия, traces — материал диагностики, evals — право выпуска.

Слои живут в двух темпах: tool descriptions, routing и release gates меняются за дни, accelerators, serving и обучение — за месяцы и годы. Локальный сбой сначала чинят в быстром контуре; в post-training или инфраструктуру поднимают только повторяемый класс ошибок из воспроизводимых эпизодов.

MCP стандартизует вызов tools, но не гарантирует выбор, безопасные права или эффект. Action contract фиксирует identity, scope, идемпотентность или необратимость, компактный ответ, понятную ошибку, аудит и end state. Телеметрия, eval material и training data требуют разных правил хранения; красивый trace не доказывает outcome.

Для каждого эпизода сохраняют start/end state, task contract и версии слоёв, затем меняют один слой и измеряют качество, variance, cost, safety и human acceptance. Модели и типовой loop обычно арендуют; identity, policy, доменные action contracts и критерии приёмки оставляют своими. Собственный harness оправдан уникальной средой и evals.