Измеряя AI в SDLC: от adoption-метрик к бизнес-ценности и пользовательскому результату (Рубрика AI)

Примерно неделю назад моя коллега Анна Громова выступала на митапе Yandex AI Dev Day. Она руководит продуктовой аналитикой внутренних платформ, процессов SDLC и AI-инструментов, собственно поэтому она и могла лучше всех рассказать эту тему. Выступление было достаточно коротким и имело примерно такую структуру

1️⃣ Что такое SDLC и зачем его мерить Если упрощать, то software development life cycle - это процесс поставки кода в продакшн. Для его оценки в Т-Банке применили три широко известных в узких кругах фреймворка:

• DORA - старейший фреймворк, что оценивает скорость и надёжность поставки (вот тут я рассказывал как фреймворк в 2026 году прирос пятой метрикой)
• SPACE - фреймворк, что учитывает не только конвейер, но и удовлетворённость, состояние потока разработчика, и еще кучу всего (вот выступление Саши Кусургашева от лета 2025 года, где он рассказал как мы готовим этот фреймворк)
• DevEx - фреймворк с фокусом на когнитивной нагрузке, переключении контекста, цикле обратной связи (вот выступление Вовы Калугина про то, как мы готовим DevEx) Применив мысли из этих референсных фреймворков, мы в Т-Банке построили "дерево метрик" (||но оно скорее похоже на сеть||): верхний уровень - DORA, нижний - DevEx, SPACE -где-то посередине + на нем основан полугодовой опрос тысяч инженеров. Кстати, про все эьт подходы DORA, SPACE, DevEx я уже много раньше рассказывал.

2️⃣ AI-ассистент Т-Банка и его уровень принятия (adoption) Внутренний AI-ассистент внедрён в IDE, Jupyter-ноутбуки, BI-системы, GitLab, observability и поиск. Режимы работы в IDE: подсказки, чат, агентский режим. Метрики принятия

• IDE (от пользователей GitLab) - ~70–75%
• Инструменты аналитики - ~75%
• Все поверхности суммарно - ~57% При таком уровне использования уже можно делать выводы о влиянии AI на метрики SDLC.

3️⃣ От adoption-метрик к пользовательским сценариям Раньше считали только adoption: новые пользователи, отток, доля сгенерированных артефактов, "осмысленность" использования (перегенерация, сброс контекста), лайки/дизлайки. В 2025–2026 году перешли к пирамиде метрик:

• Верхний уровень - бизнес-метрики SDLC (time to market, надёжность)
• Средний - закрытые пользовательские сценарии (генерация юнит-тестов, помощь в code review и т.д.)
• Нижний - технические метрики ассистента (скорость, версия модели) Это позволяет одновременно отвечать на бизнес-вопросы и развивать AI-продукт.

4️⃣ Роль телеметрии Ключевой тезис: сначала определить метрики → потом решить, какие логи собирать, а не наоборот. Это сокращает "приседания" вокруг телеметрии и фокусирует на реальной цели. Единые данные важны, чтобы результаты разных команд (AI-команда, CICD-команда) были консистентны между собой.

В докладе есть еще ряд чисел про результаты внедрения в разные сценарии, но я оставлю это тем, кто заинтересовался и готов посмотреть оригинальное видео. А вообще, выступление полезное и интересное, а также оно демонстрирует, что в России мы близки к SOTA по методам измерения влияния AI на разработку (но у нас есть множество идей, как приблизится к SOTA на глобальном уровне).

#AI #Metrics #Engineering #Management #Software