AI-продукты: сначала понять, нужен ли AI

Даниэль объясняет свою работу через устройство банка без отделений: в отделение шли, чтобы задать сложный вопрос живому человеку, а в магазине техники к покупателю подходил консультант и объяснял, какой пылесос брать. Мир ушёл в digital, появились приложения и маркетплейсы, а эти люди растворились. Его команда возвращает их двумя способами: агентами, которые отвечают на любой вопрос прямо в мобильном приложении, и предиктивными сценариями, когда вопрос писать не нужно вовсе, — если карта застряла в банкомате, приложение само встречает клиента подсказкой и двумя кнопками. Карьеру он строил по плану, придуманному в девятнадцать лет: сначала прокачать general management — стейкхолдеров, быстрый вход в новую область, структурирование информации, — и для этого лучше всего подходил консалтинг; потом научиться делать продукт рядом с сильным CEO или CPO, который каждый день даёт фидбэк; и только потом работать на масштабе.

Продуктовый этап пришёлся на стартап Cooper, который тогда назывался иначе: во всей компании было около ста человек, фаундеры пришли из инвестиционного банкинга, а CEO, по рассказу Даниэля, до этого работал в McKinsey, много сделал в Lamoda и окончил Гарвард. Ежедневная обратная связь от такой команды — то, ради чего он туда шёл; там он рос как IC-продакт. Дальше была Alibaba, а теперь Т-Банк и команда в 250 человек, которая с его приходом во многом сменилась: пришлось выстраивать найм и с нуля собирать отдельную профессию ML Product Manager под нужный профиль. Главный инсайт масштаба — переходы ломают всё: он думал, что команда в тридцать человек и команда в сотню устроены примерно одинаково, потом — что сотня и 250 одно и то же, и оба раза ошибся. Александр добавляет из своего доклада на HighLoad про роль CTO: на тысяче человек расползаются домены, куски по 250 становятся автономными командами, за которыми нужен оверсайт при противоречивых стейкхолдерах.

Определение, принятое в их AI-центре: AI-продукт — тот, который перестанет существовать, если убрать машинное обучение. Камера iPhone или Google снимает благодаря ML кратно лучше, но снимает и без него; чат-бот или умная камера, которая наводится на человека и делает перевод, без модели не работают вовсе. Всё вместе называют одним словом AI и делят по доменам: классические предсказания вроде того, сколько денег должно лежать в банкоматах; CV, где часто хватает простого OCR; NLP, который изменился целиком. Фото паспорта в чате можно разобрать через OCR, а для сложного кейса — моделью, понимающей изображение. Работа над AI-продуктом — это сто процентов обычной продуктовой работы плюс «сто одна» проблема от технологии, и в команду ищут тех, кто эти проблемы уже где-то решал. Александр замечает, что LLM стали всеядными и тем самым демократизируют создание продуктов.

Перед стартом команда отвечает на три вопроса. Нужен ли здесь AI вообще — возможно, эвристика сработает так же, и ответить должен ML-продакт, понимающий и бизнес, и технологию; делать AI там, где он не нужен, — типовая первая ошибка. Сойдётся ли экономика на масштабе: демо получилось, но юнит-экономика не сходится, если не посчитать, насколько дороги карты. Готова ли технология — по словам Даниэля, ассистента Олега начали делать в 2018 году, когда идея универсального ассистента была отличной, а лучшей моделью была GPT-2, отвечавшая на вопрос про лучшие кроссовки что-то про три килограмма картошки, поэтому ассистента строили иначе. Успех мерят снижением костов — людей не увольняют, просто перестают нанимать новых, — допродажами в большом потоке, где вкладка чата одна из самых посещаемых в приложении, и пользовательским опытом. Композитная метрика «усилия» считает, сколько действий нужно пользователю, чтобы его задача закрылась, а в основании пирамиды лежат эвалы вроде «можно ли вообще продавать в этой ситуации».

Почему в корпорации сложнее, чем дома: discovery повторяется, но дома не думают ни про скейл, ни про экономику, а топ-менеджеру, который собрал похожее дома два года назад, приходится честно отвечать, что дело в качестве на масштабе. Модели по-прежнему галлюцинируют и делают не то, что от них хотят; заметно лучше стало примерно полгода назад: есть метрика instruction following — насколько модель слушается инструкции в контексте, — и на современных эвалах уровень галлюцинаций сейчас около 4–5%, чего два года назад не было. Самое трудное в корпорации — настроить метрики качества, чтобы всё это ловить. Александр вспоминает прошлогоднее исследование MIT NANDA: успешными оказываются только 5% пилотов GenAI, многие остальные проигрывают самодельным автоматизациям сотрудников. Даниэль отвечает примером: интентовый классификатор в поддержке семь, а то и восемь лет писали регулярками — стоят они ноль, точность высокая, а из-за их количества выросла и полнота, и побить это моделью по костам оказалось трудно. И поправляет: в прикладном слое модель граундят на переданный контекст, а не дают отвечать из весов, иначе галлюцинаций кратно больше.

В сложном домене Даниэль считает себя генералистом и рад, когда лид вертикали сильнее его. Его собственная работа — решения в неопределённости, где помогает насмотренность (ошибиться легко, но 20% успеха лучше 2%), быстрый пивот с объяснением команде, что информационное множество изменилось, и счастье команды, от которого напрямую зависит результат. Продукты живут как венчурные раунды: гейт с обещанной ценностью и датой, а на дате — закрытие или новые инвестиции. Александр добавляет про sunk cost — чемодан без ручки; Даниэль соглашается, что продакты боятся писать гейт на закрытие, хотя сказать после двух месяцев ресёрча «этого делать не надо» — ценный результат. ФОМО у обоих постоянное, но рецепт даёт только Даниэль: смысл, микродозы отдыха и высокий апсайд. Дальше Даниэль ждёт, что рутину ролей заберут генеративные модели, команды схлопнутся, границы между продактом, аналитиком и инженером размоются, а миддл-менеджмент окажется под угрозой. В блице он называет переоценённым трендом ассистентов, недооценённым — автоматизацию работы людей в конкретных индустриях, а ров строит на доменных знаниях, аудитории, вирусной дистрибуции и скорости.