Как мы искали экосистемные эффекты: метод проб и ошибок (Рубрика Metrics)

Посмотрел интересный доклад от Владимира Абазова, директора по аналитике нефинансовых сервисов Т‑Банка. В это докладе Владимир рассказал о том, как ребята из нефинансовых сервисов Т-Банка проверяли, а дают ли нефинансовые сервисы (в частности, шопинг‑сервисы) заметный вклад в классические банковские продукты и поведение клиентов. Вова делится тем, как они формулировали гипотезы, чем и как измеряли «экосистемные эффекты», что работало, а что нет. В общем, доклад прямо очень интересен и практичен, но основные идеи можно сформулировать так

1. Экосистемные эффекты ≠ вера: их надо мерить и подтверждать, а не подгонять под красивую историю. 2. Гипотезы → метрики → эксперименты: без общего слоя событий/идентификаторов и корректной атрибуции эффекты «теряются». 3. Не всё - честные A/B тесты: когда «чистый» эксперимент невозможен, важны дизайн эксперимента, контроль сезонности/каннибализации и здравый скепсис к корреляциям. 4. Ошибки - часть метода: команда системно пересобирала метрики и дизайн, пока сигналы не стали устойчивыми (отсюда и «метод проб и ошибок»).

Доклад может бы полезен 1. Инженерам, чтобы понять какие данные и события действительно нужны для кросс‑сервисной атрибуции; зачем унифицировать user‑ID/схему событий; где «узкие места» экспериментальных тогглов и трекинга событий. 2. Аналитикам/ML, чтобы получить практический взгляд на измеримость экосистемных гипотез, работу с шумом/смещениями, выбор устойчивых бизнес‑метрик. 3. Руководителям, чтобы понять как договориться о владении метриками между продуктами в экосистеме, как строить приоритизацию и не тратить месяцы на «эффекты», которых нет.

В общем, это хороший доклад, чтобы синхронизировать продукт, аналитику и платформу и начать говорить на одном языке.

#Data #Metrics #Software #Engineering #DS