AIOps / LLMOps для ИИ-продуктов
Управленческие решения, экономика и FinOps для продакшен-контура ИИ
Содержание слайдов
1. AIOps / LLMOps для ИИ-продуктов
Управленческие решения, экономика и FinOps для продакшен-контура ИИ
2. Александр Поломодов
Technical Director & Fellow, Т-Технологии
Архитектура и инженерные практики
AI внедрение на масштабе разработки
Фокус: управляемый продакшен AI
3. Платформа есть. Теперь ей надо управлять
Руководитель выбирает поведение, запуск и контроль
Словарь уже есть — Gateway, context, evals, защитные ограничения известны.
Фокус на решениях — SLA, автономия и цена качества.
Денежный якорь — Support-бот проверяет TCO/FinOps.
4. Базовые компоненты считаем пройденными
AIOps / LLMOps начинается после появления платформы
Не пересказываем карту платформы
Выбираем сервис под сценарий
Считаем цену решенной задачи
Фокус: управляемость AI-продукта
5. 01. От базы к управлению
Не повторяем устройство AI-платформы, а переводим его в решения руководителя
6. После запуска AI становится сервисом
7. Менеджер выбирает рамку
8. AIOps — это контур решений
9. 02. Решения менеджера
Сценарий, автономия, цена ошибки, SLA, бюджет качества и ответственность
10. До масштаба нужны решения
Иначе AI растет быстрее контроля
Value — Ценность и сценарий — Где ценность, baseline и SLA.
Risk — Риск и контроль — Допустимая автономия и human-in-the-loop.
Cost — Экономика и ответственность — Цена качества; владельцы продукта, данных, риска и счета.
11. Цена ошибки задает автономию
12. AI SLA шире uptime API
13. Оценка идет от продукта
Одинаковый стек может быть правильным или нет
Ценность: процесс и базовая линия
Риск: ошибка и approval
Экономика: unit cost
Операционность: выпуск и откат
Решение объясняется не стеком
14. 03. Варианты и компромиссы
API-first, управляемая платформа, арендованные GPU, свой self-host и hybrid
15. AI-runtime — портфель вариантов
16. Помощник и агент — разные продукты
17. Нужны правила маршрутизации
18. Выбор — портфельное решение
API-first — старт и проверка
Rented GPU — переходный контроль
Own self-host — только при нагрузке
Hybrid — разные сценарии
Нельзя выбрать runtime без сценариев и финансового горизонта
19. 04. Денежный кейс
Support-бот: нагрузка, токены, GPU, команда и управленческий выбор
20. Считаем support-бота
200 000 диалогов в месяц, 10 сообщений в диалоге, SLA до 5 секунд
Что считаем — Нагрузка, токены, peak, GPU, CAPEX/OPEX, команда.
Что сравниваем — API-first, rented GPU, own self-host, hybrid.
Что решаем — Путь на год и метрики пересмотра.
21. Параметры кейса фиксируют масштаб решения
22. Переводим параметры в RPS и параллельность
23. GPT-5.2 API дает понятный стартовый OPEX
24. API-first покупает скорость
Риск — тихий рост unit economics
Почему стартовать удобно
Почти нулевой CAPEX
Быстрее production
Тоньше платформа вокруг
Что нужно контролировать
Output, cache, retries
Provider limits и деградация
25. Self-host считают от SLA и пиков
26. Аренда GPU меняет CAPEX на OPEX
27. Self-host меняет задачу
28. Сравнение стратегий показывает решение на первый год
29. Решение должно включать точку пересмотра
30. Решение по кейсу
Стартовать API-first
Сразу вести unit economics
Задать триггеры пересмотра
Self-host доказывать расчетом
Первое решение - скорость с контролем, не вечная архитектура
31. 05. Управляемость и FinOps
Дашборд, распределение затрат, пересчет unit economics и 120-дневный план
32. FinOps начинается с владельца счета
33. Своё железо превращает счёт в платформенный
34. После CAPEX начинается эксплуатация
35. Общую AI-платформу нужно распределять по понятным драйверам
36. Дашборд соединяет качество, риск и деньги
37. 120 дней: от сценария к масштабу
38. Нельзя измерить — нельзя управлять
Без evals качество кажется выше
Без резервного сценария растет риск
Без unit economics ломается экономика
Без ответственности начинается спор
Управляемый ИИ начинается с решений менеджера
39. Материалы
AIOps, риск и экономика
OpenAI pricing and docs.
OWASP, NIST, Langfuse.
Habr TCO, FinOps Foundation.
40. Форма обратной связи по второму дню
Форма обратной связи по второму дню