Data завтрак в Т-Банке в начале января 2025 года (Рубрика Data)

Наконец-то я смог посмотреть доклады с data-завтрака, что был почти месяц назад. На нем выступл Дима Аношин, автор канала "Инжиниринг данных" (@rockyourdata), а также Валера Поляков, наш директор по данным. Я немного поучаствовал в организации мероприятия, но посетить не смог из-за того, что летел домой из Шри-Ланки. А темы были интересные:

• Дима рассказывал о том, как выглядят data проекты в западных компаниях и на каких технологиях они строятся, благо у Димы есть опыт работы в Amazon, Microsoft и целом ряде компаний поменьше
• Валера рассказывал про эволюцию подходов Т-Банка к работе с данными с начала времен и до текущего момента.

Ну давайте я кратенько расскажу про каждый из докладов

1) Современные облачные решения для аналитики и их значимость для бизнеса от Димы Аношина

• Начал Дима с рассказа о значении аналитики для увеличения прибыли и снижения затрат.
• Дальше он рассказал о концептуальных аналитических решениях, которые базово состоят из источников, систем хранения и обработки данных.
• Дима поделился 11 реальными проектами, в которых он участвовал за последние десять лет. По этим проектам было наглядно видны тренды - переход от on-prem в cloud, переход от all-in-one в separate storage и compute, восход облачных аналитических решений snowflake и databricks, оформление роли data engineer как людей, что делают инфру под dataops

2) История платформы данных в Т: от SAS до PaaS от Валеры Полякова История развития инфраструктуры данных с 2007 года. - Эпоха SAS (2007 - 2011): Работа с проприетарными инструментами SAS до перехода на Greenplum. - Эпоха Greenplum (2012 - 2016): Переход на MPP базы данных, выбор Greenplum, масштабирование инфраструктуры. Тут еще был поворот не туда с SAP BO в 2014 году:) - Эпоха роста сложности (2017 - 2021): Здесь компания активно росла и предел масштабирования для одного кластера Greenplum был достигнут. Дальше рост через был внедрение мультикластерности и собственных решений для репликации данных. Это привело к стремительному росту нагрузки и сложностей с управлением данными. - Эпоха изменений (2022 - 2026): Эпоха изменений, что принесла современные подходы -- Демократизация инженеринга данных и платформизация. -- Переход к облачной нативности платформы данных с использованием мультитенантной архитектуры. -- Внедрение концепции "данные как продукт" с акцентом на метрики качества.

• Изменения несут за собой новые вызовы, с которыми мы работаем прямо сейчас -- Вопросы стандартизации данных между доменами. -- Важность централизованных практик для методологии работы с данными. -- Баланс между тактическими задачами и стратегическим развитием.

В общем и целом, data-завтрак по моему мнению получился отличным, доклады плотными - надеюсь, что это превратится в традицию и мои коллеги из платформы данных еще не раз будут радовать нас интересными и полезными мероприятиями.

P.S. В конце прошлого года я рассказывал доклад про эволюцию архитектуры в Т, который очень похож по структуре и логике повествования на Валерин доклад. В итоге, я ловил моментами дежавю, когда слушал этот доклад про эволюцию платформы данных:)

#Engineering #Data #Architecture #Storytelling