Платформа данных: сменить самолёт в полёте

Сергей Михалев отвечает за платформу данных Т-Банка: 230 разработчиков и 15 тысяч пользователей в месяц. Единые правила, хранилища и вычисления превращают данные в инфраструктуру продуктовых команд.

Сергей вырос в Гатчине, учился в кадетском корпусе и выбрал программирование за видимый результат. На стажировку он шёл писать C++, но вакансия закрылась, поэтому начал с .NET. За восемь лет в первой компании оптимизировал корпоративное приложение, позже работал на Java и вырос до тимлида. Желание больших объёмов привело в Одноклассники, где команда отвечала за путь от логов до экспериментов.

Позже Сергей возглавил платформы данных Одноклассников, ВКонтакте и центральный офис аналитики VK. Он ушёл, когда технические решения стали приходить сверху без обсуждения. В Т-Банке его привлекли глубокое использование данных и единая платформа — вместе с пределом Greenplum, где хранение и вычисления масштабировались только совместно.

Новая платформа разделяет S3-хранилище и вычисления на Spark и Trino, используя Iceberg как табличный слой. Нужно перенести десятки тысяч поставок и процессов, передать доменам стоимость ресурсов и заменить скрытое чтение баз явными контрактами. Сергей связывает масштаб с федерализацией ответственности, а развитие — с собственными проектами и интересом к работе.