Mixed observability для GenAI
Основа OTel + слой GenAI
Содержание слайдов
1. Mixed observability для GenAI
Основа OTel + слой GenAI
2. О чём будет эта статья
От схемы к SOTA-стеку
Части 1-2: схема и референс-архитектура.
Части 3-4: GenAI-трейсы, OTel/Langfuse.
Части 5-6: рынок и зрелость.
Часть 7: SOTA-стек и вердикт.
3. 01. Двухслойная схема observability
OTel как нервная система + специализированный GenAI-слой поверх
4. Основа OTel + слой GenAI
5. 02. Референс-архитектура
Как выглядит цепочка от пользовательского запроса до AI-бэкенда
6. От запроса до бэкенда
7. OTel семантические конвенции для GenAI
8. 03. GenAI-трейсы: лучшие практики
Эпизод решения: от пользовательского запроса до финального ответа
9. Структура хорошего трейса
10. 04. OTel/Langfuse: как живут вместе
Сначала OTel, Langfuse как AI-бэкенд — самый зрелый паттерн
11. Две модели интеграции
12. Langfuse поверх OTel
13. 05. Четыре подхода на рынке
Ставка на OTel, на APM, на AI-платформу и автосбор телеметрии
14. 4 архитектурных подхода
15. 06. Оценка зрелости: 7 болей
Честная оценка — что закрыто, что частично, что ещё болит
16. Что уже работает хорошо
17. Токены, стоимость и качество
18. Что ещё болит
19. 07. SOTA-стек и вердикт
Четыре принципа правильного стека для смешанного продакшена
20. Правильный SOTA-стек
21. Вердикт
Отрасль повзрослела, но зрелость ещё не полная
SOTA = протокол и контекст OTel + AI-интерпретация и эвалы.
Сквозная смешанная наблюдаемость стала намного стандартнее.
Качество, приватность и управление остаются открытыми зонами.
tellmeabout.tech · ai4sdlc-research.space
22. Ссылки и материалы
OTel, телеметрия GenAI, эвалы
Документация OpenTelemetry и семантические конвенции GenAI.
Langfuse, MLflow, Phoenix, OpenInference: трейсинг и оценка.
Datadog LLM Observability; Azure AI Foundry.
23. Спасибо!
Mixed Observability for GenAI
Материалы и ссылки — в канале "Книжный куб"
Александр Поломодов, Technical Director & Fellow, Т-Технологии
@Book_Cube