Платформы данных

Александр Поломодов и Николай Голов обсуждают, как аналитические платформы превращают данные в пользу. Сначала централизованное хранилище и одна команда строят витрины для всей организации. Модель контролирует архитектуру, но становится узким местом, поэтому компании переходят к гибридному самообслуживанию.

Небольшим компаниям хватает аналитических реплик production-баз до предела нагрузки. Затем архитектура движется от OLTP к MPP и колоночным движкам. Важны пакетные вставки, параллельные запросы и цена масштаба: база может хранить объём, но не выдерживать одновременную работу многих пользователей.

Следующий переход — разделение storage и compute. Data Mesh распределяет владение, но цепочки продуктов данных создают задержки и когнитивную нагрузку; базовый домен стабилизирует общие сущности. Платформа хранит данные в объектном хранилище и подключает движки под разные задачи.

Athena показывает serverless-запросы к S3, а ClickHouse, Trino, DuckDB и Snowflake — варианты независимого compute. Персональные вычислительные модули дают гибкость, но поднимают вопросы согласованности и цены. Ограничения пятилетней давности нельзя принимать на веру: железо, движки и экономика меняются, поэтому архитектуру надо пересматривать.