Содержание слайдов

1. 1. Основы платформ данных

   Базовое введение: зачем нужна платформа данных, как устроены ETL/ELT-контуры и как измерять зрелость

2. 2. Александр Поломодов

   Technical Director & Fellow, Т-Технологии

   Архитектура и RnD в инженерии.

   AI в SDLC на масштабе.

   Фокус: data platform как продукт.

3. 3. 01. Зачем нужна платформа данных

   От сырых событий к надежным решениям, продуктам и ИИ-сценариям

4. 4. Данные становятся производственным контуром

5. 5. Почему хранилища и скрипты перестают работать

   На масштабе ломается ответственность

   Команды заново ищут источники.

   Бизнес-логика прячется в SQL.

   Data incidents видны слишком поздно.

   Cost не связан с ценностью.

6. 6. Платформа связывает источники, данные-продукты и решения

7. 7. 02. ETL, ELT и гибридный контур

   Как данные проходят путь от источника до потребителя

8. 8. ETL и ELT по-разному строят преобразования

9. 9. ETL, ELT и гибридный lakehouse-контур

10. 10. Опорная архитектура платформы данных

11. 11. Пайплайн должен быть пересчитываемым и объяснимым

12. 12. 03. Организационная модель платформы

    Кто владеет платформой, данными-продуктами и качеством

13. 13. Платформа данных — это еще и оргдизайн

    Технология не взлетит без понятного распределения ответственности

    Централизованная — Одна команда задает tools/rules.

    Гибридная — Платформа владеет общим слоем, доменные команды владеют данными-продуктами и SLA.

    Федеративная — Data Mesh: домены + общий стандарт.

14. 14. Центр → гибрид → федеративная модель

15. 15. Data Mesh без платформы — хаос

    Федерации нужен общий слой

    Что отдают доменам

    Смысл, бизнес-правила, приоритеты.

    Data products и потребители.

    Свежесть, полнота, совместимость.

    Что оставляют платформе

    Self-service ingestion, storage, compute, orchestration.

    Каталог, lineage, доступ, качество.

    Финансовые guardrails и инженерные стандарты.

16. 16. 04. Управление и надежность

    Контракты, lineage, качество, наблюдаемость и стоимость

17. 17. Базовый контур управления

18. 18. Где платформы данных чаще всего ломаются

    Ответственность ломается раньше tooling

    Один гигантский DAG — Локальное изменение становится системным риском.

    Скрытая логика — SQL-правила без тестов, версий и review.

    Нет экономики — Не видно стоимость витрин и хранения.

19. 19. Data SLO должен быть явным

20. 20. 05. Метрики зрелости платформы

    Как понять, что платформа стала продуктом, а не набором инструментов

21. 21. Метрики зрелости платформы данных

22. 22. Первые 120 дней зрелости

    Сначала карта данных и owners

    0-30: sources, consumers, owners, incidents.

    30-60: contracts, catalog, quality, freshness.

    60-120: templates, runbooks, showback.

    Дальше: метрики → product value.

23. 23. Что забрать с собой

    Платформа данных — это управляемый путь от источника до решения

    ETL/ELT/hybrid отвечают разным trade-offs.

    Оргмодель важна как стек.

    Зрелость = speed, quality, freshness, cost.

    Дальше — DataOps/MLOps в production.

    Дальше: DataOps / MLOps для ИИ-бизнеса

24. 24. Ссылки и материалы

    Опорные источники

    System Design Space: https://system-design.space/chapter/data-pipeline-etl-elt-architecture/.

    System Design Space: https://system-design.space/chapter/data-platforms-2025-film.

    OpenLineage, Apache Airflow and dbt documentation.

    Data Mesh and operating model materials.