К основному содержимому
MTS True Tech Day · 13 мая 2024

Как и зачем измерять инженерную продуктивность

DORA, SPACE, DevEx, QUANTS и опыт крупного финтеха

/ Engineering Productivity · MTS True Tech Day 2024

Содержание слайдов

  1. 1. Как и зачем измерять инженерную продуктивность

    DORA, SPACE, DevEx, QUANTS и опыт крупного финтеха

  2. 2. Александр Поломодов

    Technical Director & Fellow, Т-Технологии

    Engineering practices и productivity metrics

    DORA, SPACE, DevEx на масштабе

    Code of Leadership, @book_cube

  3. 3. Что именно измеряем

    Run / Change / Disrupt × business model

    Run: поддержка и инциденты

    Change: фичи и продукт

    Disrupt: R&D и новые ставки

    Business model задаёт метрики

  4. 4. Эволюция подходов к измерению

    DORA → SPACE → DevEx за 5 лет

    2018: DORA delivery metrics

    2021: SPACE productivity dimensions

    2023: DevEx factors

    2024: well-being в core model

  5. 5. 01. DORA

    Continuous Delivery → State of DevOps → Accelerate

  6. 6. История DORA

    10+ лет исследования поставки

    Continuous Delivery (2010) — фундамент

    State of DevOps 2013–2024 — ежегодные отчёты

    Accelerate (2018) — научная база

    DORA теперь часть Google Cloud

  7. 7. Почему старые метрики проваливались

    LOC, story points, hours

    LOC — награждает многословие

    Story points — несопоставимы

    Hours — вход, не выход

    Velocity — провоцирует gaming

  8. 8. 4 DORA метрики

    Tempo + Stability

    Lead time — от коммита до прода

    Deployment frequency — частота релизов

    Change failure rate — ломающие деплои

    Time to restore — скорость восстановления

  9. 9. DORA Core Model 2024

    Capabilities → Performance → Outcomes + Well-being

    Technical Capabilities

    Software Delivery Performance

    Organizational Performance

    Well-being — burnout, satisfaction, retention

  10. 10. 02. SPACE

    5 измерений productivity (Forsgren, Storey, Maddila, 2021)

  11. 11. 5 измерений SPACE

    Productivity ≠ velocity

    Satisfaction — удовлетворённость работой, инструментами, командой

    Performance + Activity

    Communication & collaboration — качество взаимодействия

    Efficiency & flow — работа без прерываний

  12. 12. Уровни SPACE

    Individual / Team / System

    Individual — eNPS, tooling, focus

    Team — review latency, knowledge

    System — DORA, MTTR, deploy frequency

    Не оценивать людей через SPACE

  13. 13. 03. DevEx

    Flow / Feedback loops / Cognitive load (Forsgren et al., 2023)

  14. 14. 3 фактора DevEx

    Что мешает продуктивности

    Flow state — концентрация без прерываний

    Обратная связь loops — быстрое понимание результата

    Когнитивная нагрузка — контекст в голове

    Хороший DevEx: flow + short loops

  15. 15. Как измерять DevEx

    3 уровня метрик

    North star — DevEx satisfaction

    Workflows — build/test/review time

    Perceptions — опросы инженеров

    Триангуляция: объективное + субъективное

  16. 16. 04. QUANTS

    Software Engineering at Google: 5 dimensions

  17. 17. QUANTS: 5 измерений

    Software Engineering at Google

    Quality + Satisfaction

    Attention — focus без прерываний

    Complexity — когнитивная тяжесть

    Tempo & velocity — скорость доставки

  18. 18. Платформы измерения

    Рынок готовых решений

    Cortex: portal + scorecards

    Pluralsight Flow: git analytics

    Code Climate: engineering intelligence

    LinearB/Jellyfish/Swarmia: metrics

  19. 19. T-Meter: внутренняя платформа крупного финтеха

    Дашборд продуктивности для тысяч инженеров

    Данные: git, CI/CD, инциденты, тикеты

    DORA + SPACE на уровне команд

    Delivery Rate: changes / time

    Self-improvement, не performance review

  20. 20. Закон Гудхарта

    Метрика-цель ломается

    KPI быстро превращается в gaming

    LOC → пухлый код

    Deploy frequency → пустые деплои

    Метрики должны помогать, не наказывать

  21. 21. Ссылки и материалы

    Внешние фреймворки и исследования; T-Meter — внутренний кейс из практики крупного финтеха

    DORA + State of DevOps

    Accelerate

    SPACE + DevEx research

    Goodhart's Law

  22. 22. Спасибо!

    polomodov.tech

    Все слайды и ссылки — в Telegram-канале

    Александр Поломодов, Technical Director & Fellow, крупный финтех

    @book_cube