Mixed observability для GenAI
OTel substrate + GenAI layer
Содержание слайдов
1. Mixed observability для GenAI
OTel substrate + GenAI layer
2. О чём будет эта статья
От схемы к SOTA-стеку
Части 1-2: схема и референс-архитектура.
Части 3-4: GenAI-трейсы, OTel/Langfuse.
Части 5-6: рынок и зрелость.
Часть 7: SOTA-стек и verdict.
3. 01. Двухслойная схема observability
OTel как нервная система + специализированный GenAI-слой поверх
4. OTel substrate + GenAI layer
5. 02. Референс-архитектура
Как выглядит цепочка от user request до AI backend
6. От request до backend
7. OTel семантические конвенции для GenAI
8. 03. GenAI-трейсы: лучшие практики
Decision episode: от пользовательского запроса до финального ответа
9. Структура хорошего трейса
10. 04. OTel/Langfuse: как живут вместе
OTel-first, Langfuse-as-AI-backend — самый зрелый паттерн
11. Две модели интеграции
12. Langfuse поверх OTel
13. 05. Четыре подхода на рынке
OTel-first, APM-first, AI-platform-first, Auto-instrumentation
14. 4 архитектурных подхода
15. 06. Оценка зрелости: 7 болей
Честная оценка — что закрыто, что частично, что ещё болит
16. Что уже работает хорошо
17. Token/cost и quality
18. Что ещё болит
19. 07. SOTA-стек и verdict
Пять принципов правильного стека для mixed prod system
20. Правильный SOTA-стек
21. Verdict
Отрасль повзрослела, но зрелость ещё не полная
SOTA = OTel protocol/context + AI interpretation/evals.
Сквозная mixed observability стала намного стандартнее.
Quality и privacy/governance остаются открытыми зонами.
tellmeabout.tech · ai4sdlc-research.space
22. Ссылки и материалы
OTel, GenAI telemetry, evals
OpenTelemetry documentation and GenAI semantic conventions.
Langfuse, MLflow, Phoenix and OpenInference tracing/evaluation docs.
Datadog LLM Observability; Azure AI Foundry.
23. Спасибо!
Mixed Observability for GenAI
Материалы и ссылки — в канале "Книжный куб"
Александр Поломодов, Technical Director & Fellow, Т-Технологии
@Book_Cube