DataOps / MLOps для ИИ-бизнеса
Как менеджеру управлять данными, моделями, выпуском и экономикой рабочего ИИ
Содержание слайдов
1. DataOps / MLOps для ИИ-бизнеса
Как менеджеру управлять данными, моделями, выпуском и экономикой рабочего ИИ
2. Александр Поломодов
Technical Director & Fellow, Т-Технологии
Архитектура и RnD в инженерии.
AI в SDLC на масштабе.
Фокус: управляемый production AI.
3. DataOps/MLOps — управленческий контур
Как безопасно выпускать модели поверх платформы данных
Не повторяем базу — ETL, lakehouse, Data Mesh — в заметках.
Смотрим как менеджеры — Решения, владельцы, контроль контура.
Считаем экономику — Данные, признаки, инференс, ручная проверка.
4. 01. Управленческая рамка
DataOps/MLOps нужен не ради инструментов, а ради контролируемого пути от данных до бизнес-решения
5. Какие решения реально принимает менеджер
6. Варианты операционной модели
7. Оценивайте контур, а не стек
Что ускоряет результат
Гипотеза → живая проверка.
Повторяемый выпуск без ручной сборки.
Самообслуживание без потери контроля.
Что удерживает риск
Воспроизводимые данные, признаки, эвалы.
Стоп-правила, откат, радиус поражения.
Стоимость единицы и обратимость пути.
8. 02. Контракты данных и признаков
После платформы данных появляется следующий вопрос: какие данные и признаки можно безопасно использовать в модели
9. Платформа данных не равна MLOps
10. Жизненный цикл модели как цепочка управляемых решений
11. Один контракт признаков для обучения и инференса
12. Антипаттерны данных для ML
Невоспроизводимый обучающий срез.
Признаки без владельца, версии, SLA.
Офлайн-метрики не видят расхождения с продом.
Переобучение маскирует долг данных и политик.
13. 03. Безопасный выпуск моделей
Модель меняет продукт; релиз должен быть управляемым
14. Гейты выпуска: от повтора трафика до отката
15. Кто владеет выпуском модели
16. Качество модели не равно бизнес-решению
AUC (Area Under Curve): площадь под кривой.
Precision — точность; recall — полнота.
Решение: стоимость, задержка, риск.
Карточка выпуска: порог и резервный сценарий.
17. 04. Сервинг и экономика выполнения
Модель в проде стоит денег каждую минуту: в признаках, инференсе, проверке и поддержке решений
18. Онлайн, пакетный и потоковый инференс
19. Управляемый или свой рантайм
Когда хватает управляемого
Быстрый запуск, стандартная нагрузка.
Базовые SLO, мониторинг, ограничения провайдера.
Цена ошибки ниже платформенной сложности.
Когда нужен свой рантайм
Нестандартная маршрутизация, резервный сценарий, SLA.
Большой объём; решает стоимость единицы.
Особые политики доступа, аудита, контуров.
20. FinOps для моделей: как посчитать стоимость
21. Затраты надо привязать к владельцу
22. 05. Наблюдаемость, обратная связь и зрелость
После релиза нужны деградация, обратная связь и масштаб
23. Ручная проверка и управление качеством
24. Рост требует более зрелого контура
25. Итоговая матрица менеджера
Управляемое: типовой путь, быстрый старт.
Платформа: выпуск, наблюдаемость, SLO, FinOps.
Домены: гипотеза, ошибка, обратная связь.
Свой рантайм: контроль, масштаб, экономика.
Модель в проде — отдельный бизнес-контур.
26. Ссылки и материалы
Google Cloud — пайплайны MLOps.
Sculley et al. — Hidden Technical Debt.
Документация Feast Feature Store: docs.feast.dev
NIST AI Risk Management Framework 1.0: nist.gov/itl/ai-risk-management-framework