ЛекцияВШЭ · 23 мая 2026
Основы платформ данных
Базовое введение: зачем нужна платформа данных, как устроены ETL/ELT-контуры и как измерять зрелость
/ Основы платформ данных · ВШЭ 2026
Содержание слайдов
1. Основы платформ данных
Базовое введение: зачем нужна платформа данных, как устроены ETL/ELT-контуры и как измерять зрелость
2. Александр Поломодов
Technical Director & Fellow, Т-Технологии
Архитектура и RnD в инженерии.
AI в SDLC на масштабе.
Фокус: data platform как продукт.
3. 01. Зачем нужна платформа данных
От сырых событий к надежным решениям, продуктам и ИИ-сценариям
4. Данные становятся производственным контуром
Платформа нужна, когда данные должны работать повторяемо, а не героически
Скорость — Путь от источника до витрины, API, модели или отчета.
Доверие — Владелец, качество, lineage, доступ и свежесть.
Масштаб — Один контур для аналитики, продуктов, ML и AI.
5. Почему хранилища и скрипты перестают работать
На масштабе ломается ответственность
Команды заново ищут источники.
Бизнес-логика прячется в SQL.
Data incidents видны слишком поздно.
Cost не связан с ценностью.
6. Платформа связывает источники, данные-продукты и решения
Это не одна база данных, а повторяемая производственная линия для данных
7. 02. ETL, ELT и гибридный контур
Как данные проходят путь от источника до потребителя
8. ETL и ELT по-разному строят преобразования
Разница — где преобразуются данные
ETL: сначала качество
Извлечь из источников.
Проверить до загрузки.
Строгие правила, предсказуемая схема.
ELT: сначала сырой слой
Загрузить в storage/lakehouse.
Витрины строятся поверх raw-слоя.
Скорость, гибкость, replay истории.
9. ETL, ELT и гибридный lakehouse-контур
Один выбор не побеждает всегда: сценарий зависит от свежести, контроля и стоимости
10. Опорная архитектура платформы данных
Источники → прием → Bronze/Silver/Gold → потребление
11. Пайплайн должен быть пересчитываемым и объяснимым
Важно доказать результат
Exactly-once редко реалистичен.
Backfill — отдельный путь.
Схемы версионируются через contracts.
У пайплайна есть owner, runbook, SLO.
12. 03. Организационная модель платформы
Кто владеет платформой, данными-продуктами и качеством
13. Платформа данных — это еще и оргдизайн
Технология не взлетит без понятного распределения ответственности
Централизованная — Одна команда задает tools/rules.
Гибридная — Платформа владеет общим слоем, доменные команды владеют данными-продуктами и SLA.
Федеративная — Data Mesh: домены + общий стандарт.
14. Центр → гибрид → федеративная модель
Чем выше масштаб, тем важнее отделить платформенные способности от владения данными
15. Data Mesh без платформы — хаос
Федерации нужен общий слой
Что отдают доменам
Смысл, бизнес-правила, приоритеты.
Data products и потребители.
Свежесть, полнота, совместимость.
Что оставляют платформе
Self-service ingestion, storage, compute, orchestration.
Каталог, lineage, доступ, качество.
Финансовые guardrails и инженерные стандарты.
16. 04. Управление и надежность
Контракты, lineage, качество, наблюдаемость и стоимость
17. Базовый контур управления
Страховка от невидимых сбоев
Data contracts: схема, смысл, changes.
Catalog/lineage: где, откуда, кто использует.
Quality: свежесть, полнота, уникальность.
Observability: деградация, задержки, cost, SLA.
18. Где платформы данных чаще всего ломаются
Ответственность ломается раньше tooling
Один гигантский DAG — Локальное изменение становится системным риском.
Скрытая логика — SQL-правила без тестов, версий и review.
Нет экономики — Не видно стоимость витрин и хранения.
19. Data SLO должен быть явным
Потребитель видит уровень доверия
Freshness: скорость после события.
Completeness: доля прошедших записей.
Correctness: обязательные правила качества.
Incident response: owner, runbook.
20. 05. Метрики зрелости платформы
Как понять, что платформа стала продуктом, а не набором инструментов
21. Метрики зрелости платформы данных
Скорость, надежность, переиспользование и экономика должны быть видны в цифрах
22. Первые 120 дней зрелости
Сначала карта данных и owners
0-30: sources, consumers, owners, incidents.
30-60: contracts, catalog, quality, freshness.
60-120: templates, runbooks, showback.
Дальше: метрики → product value.
23. Что забрать с собой
Платформа данных — это управляемый путь от источника до решения
ETL/ELT/hybrid отвечают разным trade-offs.
Оргмодель важна как стек.
Зрелость = speed, quality, freshness, cost.
Дальше — DataOps/MLOps в production.
Дальше: DataOps / MLOps для ИИ-бизнеса
24. Ссылки и материалы
Опорные источники
System Design Space: https://system-design.space/chapter/data-pipeline-etl-elt-architecture/.
System Design Space: https://system-design.space/chapter/data-platforms-2025-film.
OpenLineage, Apache Airflow and dbt documentation.
Data Mesh and operating model materials.