[1/2] Как собираются отчеты DORA (DevOps Research and Assessment)?

Если вы опытный разработчик или технический руководитель, то с большой вероятностью вы слышали про магические DORA метрики, использование которых часто является baseline для оценки эффективности разработки. Но вы когда-нибудь интересовались откуда они появились и как собирается бенчмарк по группам эффективности? В общем, сегодня я решил поговорить об этом.

DORA (DevOps Research and Assessment) - это крупнейшее долгосрочное исследование в области оценки эффективности процессов разработки и эксплуатации ПО (в прошлом году ребята отмечали десятилетний юбилей). Каждый год команда DORA рассылает опросник профессионалам из технических и смежных областей. В 2024 году их было порядка 3 тысяч, причем топ-три представленные области это технологии (36%), финтех (16%) и ритейл (9%). Для большей репрезентативности выборки DORA ориентируется на отраслевые исследовательские базы (например, Stack Overflow Developer Survey) и старается охватить максимально разнообразные команды, типы организаций и географии (в самом отчете есть отсылка, что распределение участников DORA опроса похоже на распределение опроса от Stack Overflow).

В отчете 2024 года есть подробное описание методологии, проверяемых моделей, а также задаваемых вопросов. Кстати, с 2023 года авторы ушли от одной большой модели к нескольким маленьким, где проще строить взаимосвязи между факторами и проверять их корелляции. Для анализа результатов используется кластерный анализ: ответы респондентов группируются по четырем ключевым производственным метрикам: change lead time, deployment frequency, change failure rate, failed deployment recovery time. Сами кластеры формируются на основе собранных данных без заранее заданных "идеальных" значений: например, границы между группами (low, medium, high, elite) каждый год меняются, потому что определяются статистической обработкой свежих данных. Продолжение в следующем посте.

#AI #DevOps #DevEx #Metrics #Processes #Management