К основному содержимому
ЛекцияВШЭ · 23 мая 2026

Основы платформ данных

Базовое введение: зачем нужна платформа данных, как устроены ETL/ELT-контуры и как измерять зрелость

/ Основы платформ данных · ВШЭ 2026

Содержание слайдов

  1. 1. Основы платформ данных

    Базовое введение: зачем нужна платформа данных, как устроены ETL/ELT-контуры и как измерять зрелость

  2. 2. Александр Поломодов

    Technical Director & Fellow, Т-Технологии

    Архитектура и RnD в инженерии.

    AI в SDLC на масштабе.

    Фокус: платформа данных как продукт.

  3. 3. 01. Зачем нужна платформа данных

    От сырых событий к надежным решениям, продуктам и ИИ-сценариям

  4. 4. Данные становятся производственным контуром

  5. 5. Хранилища и скрипты перестают работать

    На масштабе ломается ответственность

    Команды заново ищут источники.

    Бизнес-логика прячется в SQL.

    Инциденты данных видны слишком поздно.

    Стоимость не связана с ценностью.

  6. 6. Платформа связывает данные с решениями

  7. 7. 02. ETL, ELT и гибридный контур

    Как данные проходят путь от источника до потребителя

  8. 8. ETL и ELT по-разному строят преобразования

  9. 9. ETL, ELT и гибридный lakehouse-контур

  10. 10. Опорная архитектура платформы данных

  11. 11. Пайплайн: пересчитываемый и объяснимый

  12. 12. 03. Организационная модель платформы

    Кто владеет платформой, данными-продуктами и качеством

  13. 13. Платформа данных — это еще и оргдизайн

    Технология не взлетит без понятного распределения ответственности

    Централизованная — Одна команда задает инструменты и правила.

    Гибридная — Платформа владеет общим слоем, доменные команды владеют данными-продуктами и SLA.

    Федеративная — Data Mesh: домены + общий стандарт.

  14. 14. Центр → гибрид → федеративная модель

  15. 15. Data Mesh без платформы — хаос

    Федерации нужен общий слой

    Что отдают доменам

    Смысл, бизнес-правила, приоритеты.

    Данные-продукты и потребители.

    Свежесть, полнота, совместимость.

    Что оставляют платформе

    Самообслуживание: загрузка, хранение, вычисления, оркестрация.

    Каталог, lineage, доступ, качество.

    Финансовые защитные ограничения и инженерные стандарты.

  16. 16. 04. Управление и надежность

    Контракты, lineage, качество, наблюдаемость и стоимость

  17. 17. Базовый контур управления

  18. 18. Где платформы данных чаще всего ломаются

    Ответственность ломается раньше инструментов

    Один гигантский DAG — Локальное изменение становится системным риском.

    Скрытая логика — SQL-правила без тестов, версий и ревью.

    Нет экономики — Не видно стоимость витрин и хранения.

  19. 19. SLO данных должен быть явным

  20. 20. 05. Метрики зрелости платформы

    Как понять, что платформа стала продуктом, а не набором инструментов

  21. 21. Метрики зрелости платформы данных

  22. 22. Первые 120 дней зрелости

    Сначала карта данных и владельцы

    0-30: источники, потребители, владельцы, инциденты.

    30-60: контракты, каталог, качество, свежесть.

    60-120: шаблоны, регламенты, showback.

    Дальше: метрики → ценность для продукта.

  23. 23. Что забрать с собой

    Платформа данных — это управляемый путь от источника до решения

    ETL, ELT и гибрид — разные компромиссы.

    Оргмодель важна как стек.

    Зрелость = скорость, качество, свежесть, стоимость.

    Дальше — DataOps/MLOps в продакшене.

    Дальше: DataOps / MLOps для ИИ-бизнеса

  24. 24. Ссылки и материалы

    Опорные источники

    Архитектура конвейеров ETL/ELT: https://system-design.space/chapter/data-pipeline-etl-elt-architecture/.

    Интервью с Николаем Головым (2025): https://system-design.space/chapter/data-platforms-2025-film.

    Документация OpenLineage, Apache Airflow и dbt.

    Материалы о Data Mesh и операционных моделях.