Основы платформ данных
Базовое введение: зачем нужна платформа данных, как устроены ETL/ELT-контуры и как измерять зрелость
Содержание слайдов
1. Основы платформ данных
Базовое введение: зачем нужна платформа данных, как устроены ETL/ELT-контуры и как измерять зрелость
2. Александр Поломодов
Technical Director & Fellow, Т-Технологии
Архитектура и RnD в инженерии.
AI в SDLC на масштабе.
Фокус: платформа данных как продукт.
3. 01. Зачем нужна платформа данных
От сырых событий к надежным решениям, продуктам и ИИ-сценариям
4. Данные становятся производственным контуром
5. Хранилища и скрипты перестают работать
На масштабе ломается ответственность
Команды заново ищут источники.
Бизнес-логика прячется в SQL.
Инциденты данных видны слишком поздно.
Стоимость не связана с ценностью.
6. Платформа связывает данные с решениями
7. 02. ETL, ELT и гибридный контур
Как данные проходят путь от источника до потребителя
8. ETL и ELT по-разному строят преобразования
9. ETL, ELT и гибридный lakehouse-контур
10. Опорная архитектура платформы данных
11. Пайплайн: пересчитываемый и объяснимый
12. 03. Организационная модель платформы
Кто владеет платформой, данными-продуктами и качеством
13. Платформа данных — это еще и оргдизайн
Технология не взлетит без понятного распределения ответственности
Централизованная — Одна команда задает инструменты и правила.
Гибридная — Платформа владеет общим слоем, доменные команды владеют данными-продуктами и SLA.
Федеративная — Data Mesh: домены + общий стандарт.
14. Центр → гибрид → федеративная модель
15. Data Mesh без платформы — хаос
Федерации нужен общий слой
Что отдают доменам
Смысл, бизнес-правила, приоритеты.
Данные-продукты и потребители.
Свежесть, полнота, совместимость.
Что оставляют платформе
Самообслуживание: загрузка, хранение, вычисления, оркестрация.
Каталог, lineage, доступ, качество.
Финансовые защитные ограничения и инженерные стандарты.
16. 04. Управление и надежность
Контракты, lineage, качество, наблюдаемость и стоимость
17. Базовый контур управления
18. Где платформы данных чаще всего ломаются
Ответственность ломается раньше инструментов
Один гигантский DAG — Локальное изменение становится системным риском.
Скрытая логика — SQL-правила без тестов, версий и ревью.
Нет экономики — Не видно стоимость витрин и хранения.
19. SLO данных должен быть явным
20. 05. Метрики зрелости платформы
Как понять, что платформа стала продуктом, а не набором инструментов
21. Метрики зрелости платформы данных
22. Первые 120 дней зрелости
Сначала карта данных и владельцы
0-30: источники, потребители, владельцы, инциденты.
30-60: контракты, каталог, качество, свежесть.
60-120: шаблоны, регламенты, showback.
Дальше: метрики → ценность для продукта.
23. Что забрать с собой
Платформа данных — это управляемый путь от источника до решения
ETL, ELT и гибрид — разные компромиссы.
Оргмодель важна как стек.
Зрелость = скорость, качество, свежесть, стоимость.
Дальше — DataOps/MLOps в продакшене.
Дальше: DataOps / MLOps для ИИ-бизнеса
24. Ссылки и материалы
Опорные источники
Архитектура конвейеров ETL/ELT: https://system-design.space/chapter/data-pipeline-etl-elt-architecture/.
Интервью с Николаем Головым (2025): https://system-design.space/chapter/data-platforms-2025-film.
Документация OpenLineage, Apache Airflow и dbt.
Материалы о Data Mesh и операционных моделях.
