Как измерять AI-ассистентов и coding agents

Александр Поломодов и Евгений Сергеев разбирают фреймворк DX для измерения AI code assistants и agents. Разработка удобна для экспериментов: работа уже оцифрована, вокруг кода есть автоматизация и проверки. Евгений дополняет статью опытом Flo Health и обсуждением с авторами.

Модель предлагает двигаться по ступеням, а не обещать ROI заранее. Сначала измеряются adoption и utilization: кто использует инструмент, где и насколько регулярно. Затем — impact на время, качество и DX Core 4, и лишь потом экономика. На boring technologies модели полезнее: они видели больше кода и примеров.

Пост-анализ инцидента показывает, как выбрать измеримый сценарий: агент собирает таймлайн и действия, а команда проверяет экономию времени и качество. Если utilization нельзя определить, эксперимент надо остановить или сменить задачу. Простая метрика быстро замыкает feedback loop; сложный impact требует телеметрии, корректной постановки jobs и опросов.

Метрики не должны превращаться в персональные KPI: психологическая безопасность нужна для честных данных. Организационные показатели подсказывают, где улучшать процесс. Benchmarks и percentiles добавляют контекст — где компания отстаёт, — но сравнение полезно лишь при понятной методике и совместимых сценариях.