[1/2] How tech companies measure the impact of AI on software development (Рубрика AI)

Интересный пост от Гергели Ороша, автора подписки "The Pragmatic Engineer", и Лаура Тахо, CTO платформы DX, которая занимается измерением эффективности продуктивности. Они вместе были в подкасте "Measuring the impact of AI on software engineering", который я уже разбирал. У DX есть свой фреймворк для измерения продуктивности и недавно появился фреймвор для измерения влияния AI. В подкасте Research Insights мы их разбирали с Женей Сергеевым, engineering director из Flo Health

• "DX Core 4"
• "Measuring AI Code Assistants and Agents"

Если возвращаться к этой статье, то интересны примеры конкретных метрик из 18 компаний, которые Лаура привела в качестве примеров. Из них видно, что ИИ-инструменты уже широко распространились: ими пользуются ~85% разработчиков. Но измерить их эффект непросто - 60% техлидов признаются, что у них нет понятных метрик пользы ИИ. В новостях упрощают: звучат заявления вроде «ИИ пишет N% кода». Однако строки кода - плохая метрика продуктивности: исходный код - скорее бремя, а не ценность.

В итоге, Лаура предлагает ориетироваться на базовые метрики продуктивности: качество, надёжность, скорость, удовлетворённость инженеров. Многие компании продолжают измерять те же показатели, что и до ИИ (частота сбоев, скорость выпуска, время цикла, DevEx), а также оценивают насколько AI помогает их улучшать. Если эти базовые метрики не определены и нет консенсуса, а что считать продуктивностью, то оценка ИИ сведётся к пустым метрикам типа «количество кода» или процент принятых подсказок.

Кромое стандартных показателей появляются и специфичные для AI метрики и они разбиваются на три категории (подробности в статье "Measuring AI Code Assistants and Agents"):

1. Уровень использования (usage)
2. Влияние на работу (сэкономленные часы)
3. Экономическое влияние (cost & benefits)

Продолжение в следующем посте.

#AI #ML #PlatformEngineering #Software #Architecture #Processes #DevEx #Devops