Маршрутизация по префиксу
Preble: общий кеш промптов на многих репликах без перегрева одной
Содержание слайдов
1. Маршрутизация по префиксу
Preble: общий кеш промптов на многих репликах без перегрева одной
2. Кеш префикса нужно видеть со всего кластера
Preble — алгоритм и замеры; llm-d — инженерный путь в Kubernetes
3. Одно радиксное дерево не видит соседние реплики
От RadixAttention в одном сервере к планировщику над многими
4. Round-robin пересчитывает один и тот же репозиторий
«Орбита» · агент для кода · общий префикс 30–60 тыс. токенов
5. Липкость и балансировка тянут в разные стороны
Раскидать — пересчитать; приклеить — перегреть
6. Общая часть промпта — 85–97 %
Пять открытых наборов · средние по запросам · кеш без ограничений
7. Глобальное дерево помнит, где лежит префикс
Глобальный планировщик — по запросам, локальные — по итерациям
8. Совпало больше, чем осталось, — используем кеш
Иначе — разведка: GPU с наименьшей стоимостью нагрузки
9. Стоимость GPU измеряется временем вычислений
L — нагрузка за окно, M — цена вытеснения, P — новый prefill
10. Горячий префикс копируется, а не перегревает GPU
Сначала перенаправить новые запросы, потом размножить префикс
11. Попадание в кеш превращает запрос в генерацию
Смешивать на GPU запросы с попаданием и промахом
12. Места в батче делятся по доле попадания
P групп приоритета · пропорциональная квота · вытеснение по LRU
13. Стенды — 2–8 GPU, база не видит префиксов
SGLang v0.1.12 и vLLM за балансировщиком по кругу
14. Выигрыш появляется, когда растёт нагрузка
Против SGLang по кругу · средняя и p99 задержка
15. Трасса Azure: TTFT ниже в 2,42 раза
Инструменты и видео · прибытие по трассе Azure · четыре A6000
16. Каждый механизм снимает свою часть хвоста
Toolbench · Zipf-1.1 · четыре A6000 · значения считаны с рисунка
17. Один планировщик держит 245–2 931 запрос/с
245 и 2 931 запрос в секунду · «70–391 GPU» — пересчёт авторов
18. Доказательство собрано на малых стендах
Что статья показывает и чего из неё не следует
19. llm-d узнаёт о кеше из потока событий
KVEvents → индекс блоков → оценка близости → решение с учётом нагрузки
20. С точным индексом TTFT p90 — 0,54 с
8 подов · 16 H100 · 150 клиентов по 6 тыс. токенов · 3–60 QPS
21. Агенту — липкость, RAG — балансировка
Правило E2 по-разному решает нагрузки «Орбиты»
22. Маршрутизатор принимает три решения сразу
Где лежит кеш, сколько стоит GPU, когда копировать префикс
23. Маршрутизировать по стоимости, не только по совпадению
Что измерить на «Орбите» до выбора маршрутизатора