DataOps / MLOps для ИИ-бизнеса
Как менеджеру управлять данными, моделями, выпуском и экономикой рабочего ИИ
Как менеджеру управлять данными, моделями, выпуском и экономикой рабочего ИИ
Как менеджеру управлять данными, моделями, выпуском и экономикой рабочего ИИ
Technical Director & Fellow, Т-Технологии
Архитектура и RnD в инженерии.
AI в SDLC на масштабе.
Фокус: управляемый production AI.
Как безопасно выпускать модели поверх data platform
Не повторяем базу — ETL, lakehouse, Data Mesh — в заметках.
Смотрим как менеджеры — Решения, владельцы, контроль контура.
Считаем экономику — Данные, признаки, инференс, review.
DataOps/MLOps нужен не ради инструментов, а ради контролируемого пути от данных до бизнес-решения
Граница: эксперимент → пилот → production.
Стандарт выпуска: quality, risk, cost.
Что централизует платформа.
Метрики управляемости результата.
Обычно выбирают не один инструмент, а распределение ответственности
Managed / self-service — Пайплайны, registry, serving, observability; стандарты задает платформа.
Доменные ML-команды — Качество, гипотеза, цена ошибки и retrain у команды.
Гибрид — Общий стандартный путь; критичным сценариям отдельный runtime.
Что ускоряет результат
Гипотеза → живая проверка.
Повторяемый выпуск без ручной сборки.
Самообслуживание без потери контроля.
Что удерживает риск
Воспроизводимые данные, признаки, evals.
Стоп-правила, откат, blast radius.
Unit cost и обратимость пути.
После платформы данных появляется следующий вопрос: какие данные и признаки можно безопасно использовать в модели
Платформа данных
Данные, каталоги, lineage, доступы.
Надежный путь к data products.
DataOps/MLOps
Готовность данных к training/inference/release.
Признаки, evals, release, runtime, обратная связь.
Каждый переход должен оставлять артефакт: данные, признаки, оценку, решение о выпуске и план отката
Признак становится продуктовым контрактом: схема, владелец, свежесть, версия логики и готовность к продакшену
Невоспроизводимый training slice.
Признаки без owner/version/SLA.
Offline-метрики без production skew.
Retrain маскирует data/policy debt.
Модель меняет продукт; релиз должен быть управляемым
Разные режимы выпуска отвечают на разные вопросы: что изменится, где риск и как быстро откатиться
Участники решения
Продукт: цена ошибки, исход.
ML: качество, калибровка, риск.
Платформа: release path, откат, SLO.
Что ломается без матрицы
Качество отдельно от риска.
Релиз без владельца последствий.
Откат после деградации.
AUC/precision/recall не видят cost/latency.
Порог и резервный сценарий меняют исход.
Release card фиксирует изменения.
Решение соединяет quality, risk, cost.
Модель в проде стоит денег каждую минуту: в признаках, инференсе, проверке и поддержке решений
Режим инференса выбирают по задержке, цене ошибки, стоимости мощности и требованиям к свежести решения
Когда хватает managed
Нужен быстрый запуск и стандартный профиль нагрузки.
Достаточно базовых SLO, мониторинга и ограничений провайдера.
Экономика ошибки ниже, чем цена собственной платформенной сложности.
Когда нужен свой runtime
Нестандартная маршрутизация, резервный сценарий, SLA.
Большой объем; unit cost решает экономику.
Требуются особые политики доступа, аудита и разделения контуров.
Features: backfill, materialization, freshness, storage.
Training/evals: experiments, retrain, baseline, replay.
Serving: CPU/GPU, peak, batch/online, cache.
Review: labeling, queues, escalation, corrections.
Как распределять расходы
Бизнес-сценарий: антифрод, рекомендации.
Модель/endpoint: дорогие маршруты.
Домен/продукт: владелец решения.
Как использовать в управлении
Showback сначала показывает поведение.
Chargeback — после правил и owners.
Оптимизация меняет архитектуру, не бюджет.
После релиза нужны деградация, обратная связь и масштаб
Human-in-the-loop нужен не как вечный костыль, а как контролируемый путь обучения, проверки и эскалации
Зрелость DataOps/MLOps видна по повторяемости выпуска, владению риском, наблюдаемости и экономике единицы решения
Managed: типовой путь, быстрый старт.
Платформа: release, observability, SLO, FinOps.
Домены: гипотеза, ошибка, обратная связь.
Свой runtime: контроль, масштаб, economics.
Модель в проде — отдельный бизнес-контур.
Google Cloud — MLOps pipelines.
Sculley et al. — Hidden Technical Debt.
Feast Feature Store documentation: docs.feast.dev
NIST AI Risk Management Framework 1.0: nist.gov/itl/ai-risk-management-framework