Data - The Land DevOps Forgot • Michael Nygard • YOW! 2023 (Рубрика Data)

Интересное выступление от Michael Nygard, автора книги "Release It!" (я рассказывал про нее), а сейчас VP в Nubank (бразильский необанк), где он отвечает за направление data engineering. Интересно, что Майкл когда-то популяризировал подход к написанию ADR (architecture decision records). А в этом выступлении Майкл рассказывает про концепцию data mesh, но в приложении к сквоим задачам внутри Nubank, где старый процесс ETL/ELT уже не масштабируется. Собственно Майкл пришел туда менять подходы в сторону концепции, придуманной Zhamak Dehghani, которая написала на эту тему отдельную книгу. В самой концепции есть четыре ключевых принципа

1. Domain ownership
2. Data as a product
3. Self service platform
4. Federated governance По-факту, этот подход можно сравнить с применением микросервисного подхода к oltp системам, но перенесенное в мир аналитики. Про это хорошо писал Влад Хононов в книгег "Learning Domain-Driven Design". Я делал краткое саммари этих идей в отдельной статье.

В выступлении Майкла интересна практика применения этого подхода. Например, он объясняет почему это сложно, например

1. Ownership данных накладывает обязательства на владельцев данных (стоимость производства и поддержки данных), а бенефиты получают консьюмеры
2. Self-service платформа достаточно сложна в созданни, но она помогает в создании marketplace данных (cost visibility, прайсинг за использование данных)
3. Отсутствуют части всей этой истории про data mesh: interoperability, "swagger of data", все крутится вокруг работы с данными

Напоследок Майкл раассказывает про то, как надо подходить к таким изменениям в работе с данными (советы можно посмотреть в приложенных слайдах).

#Data #Management #DataMesh #Software #SoftwareArchitecture #Architecture #Engineering