Measuring the impact of AI on software engineering (Рубрика AI)
Посмотрел очередную серию подкаста "The Pragmatic Engineer", который ведет Гергели Орош (Gergely Orosz). К нему в гости пришла Лаура Тако (Laura Tacho), технический директор платформы для измерения продуктивности инженеров DX. Интересно, что мы только недавно с Женей Сергеевым, engineering director из Flo Health, разбирали в подкасте Research Insights Made Simple DX Core 4 фреймворк для измерения продуктивности, и новенький whitepaper "Measuring AI Code Assistants and Agents" тоже от платформы DX. Но если возвращаться к этому подкасту и его ключевым идеям, то вот они
1. Критика медийной шумихи вокруг ИИ Лаура подчеркивает, что большинство медийных заголовков об ИИ крайне преувеличены и вводят в заблуждение. Они не подтверждаются реальными данными из сотен компаний, с которыми работает DX. Основные проблемы с такими новостями такие
- Упрощение сложных инженерных процессов до неузнаваемости (работа инженеров не только в написании кода)
- Смешивание показателя "принятия AI suggests" с "кодом, написанным AI"
2. Фреймворк DX AI для измерения влияния ИИ Лаура представила фреймворк для измерения влияния AI (я его уже разбирал). В нем есть три вида параметров, которые перечислены в порядке простоты измерений
- Утилизация (Utilization) - как активно используются инструменты
- Влияние (Impact) - какое реальное воздействие на производительность
- Стоимость (Cost) - экономическая эффективность внедрения
3. Реальные данные об использовании ИИ-инструментов Исследование DX на основе 180+ компаний выявило наиболее эффективные сценарии использования ИИ разработчиками (в порядке убывания)
- Анализ трассировок стека
- Рефакторинг существующего кода
- Генерация кода в процессе разработки
- Генерация тестов Этот результат противоречит общепринятому мнению о том, что ИИ прежде всего полезен для генерации нового кода.
4. Кейс-стади: Booking.com Booking.com провел масштабное внедрение ИИ-инструментов с следующими результатами:
- 65% разработчиков используют инструменты еженедельно (выше среднего по отрасли в 50%)
- 16% повышение частоты слияния пул-реквестов у активных пользователей
- 31% рост производительности инженерных команд Инвестиции в обучение и поддержку оказались критически важными для успеха
5. Парадокс удовлетворенности разработчиков Одно из самых неожиданных открытий исследования DORA: многие разработчики сообщают о снижении времени на meaningful задачи Причина: ИИ ускоряет те части работы, которые разработчикам нравятся (написание кода), оставляя больше времени на рутину, встречи и административные задачи. Кстати, дальше у меня будет целая серия постов про DORA, где я подробнее расскажу про исследования и инсайты из них
6. Влияние на архитектуру и документацию Команды, успешно внедряющие ИИ, вносят архитектурные изменения:
- Возврат к чистым интерфейсам между сервисами
- Создание документации, ориентированной на ИИ (с примерами кода, без визуальных зависимостей) Компании вроде Vercel и Clerk создают "AI-first" документацию, которая работает как для людей, так и для ИИ-ассистентов
7. Структурированные подходы к внедрению Высокорегулируемые отрасли (финансы, страхование) показывают лучшие результаты благодаря структурированному подходу к внедрению ИИ.
8. Рекомендации для технических лидеров Лаура дает следующие советы руководителям:
- Данные важнее ажиотажа - основывайтесь на фактах, а не на медийных заголовках
- Рассматривайте использование ИИ как эксперимент - оценивайте эффективность систематически
- Инвестируйте в обучение и поддержку - это критично для успешного внедрения
- Измеряйте опыт разработчиков до внедрения ИИ - это создает baseline для сравнения
9. Будущее разработки с ИИ Лаура предсказывает, что дорожные карты (roadmaps) уходят в прошлое и команды переходят к более гибким, экспериментальным подходам для адаптации AI
Итого, Лаура вместе с Гергели очень интересно пообщались на тему влияния AI, фокусирясь на практике, а не маркетинговых заголовках:)
#AI #Software #Engineering #Management #Metrics #ML #Leadership