Миграция запросов
Llumnix: перенос работающих запросов с KV-кешем между экземплярами LLM
Содержание слайдов
1. Миграция запросов
Llumnix: перенос работающих запросов с KV-кешем между экземплярами LLM
2. Размещение запроса можно пересматривать на ходу
Проблема, живая миграция, единая политика, результаты и «Орбита»
3. Маршрутизатор решает один раз, нагрузка меняется
Продолжение разбора Preble и деки о PagedAttention
4. Понедельник, 9:00: память растёт непредсказуемо
«Орбита» · пул 70B и пул агента для кода · утро понедельника
5. При загрузке памяти 62 % вытесняется 8 % запросов
LLaMA-7B · vLLM · одна A10 · 2 000 запросов · 0,42 запроса/с
6. Свободная память есть, но разбросана по экземплярам
Четыре экземпляра LLaMA-7B · 1,9 запроса/с · новый запрос — на наименее загруженный
7. Перенос работающего запроса служит четырём целям
Балансировка, дефрагментация, приоритеты, масштабирование
8. Готовый KV-кеш не меняется — копируем заранее
Многоэтапная копия идёт параллельно с генерацией
9. Рукопожатие отменяет перенос при любом сюрпризе
PRE-ALLOC · ACK/ABORT · COMMIT между источником и приёмником
10. Простой 20–30 мс при любой длине
Два экземпляра на разных машинах · LLaMA-7B и LLaMA-30B · до 8 тыс. токенов
11. Глобальный планировщик видит экземпляры, а не запросы
Llumlet на каждом экземпляре выбирает запросы и ведёт перенос
12. Виртуальная загрузка сводит цели к балансировке
Запас хода экземпляра F = (M − ΣV) / B
13. Одна метрика управляет приёмом, переносом и масштабом
Самый свободный принимает, самый занятый отдаёт
14. LLaMA-7B обслуживала синтетические трейсы на 16 A10
4 ВМ × 4 A10 24 ГБ · PCIe 4.0 · сеть 64 Гбит/с
15. Хвост prefill короче до 14,8 раза
16 × LLaMA-7B · сгенерированные распределения · против INFaaS++
16. Фрагментация падает с 7,9 % до 0,7 %
Трейс M-M · 7,5 запроса/с · напряжённый период
17. Срочным — резерв, остальным — почти без потерь
10 % запросов с высоким приоритетом · трейс S-S · поток Гамма
18. Та же P99 prefill — на 36 % дешевле
До 16 экземпляров · трейс L-L · коридор запаса хода [10, 60]
19. Выводы ограничены стендом и моделями статьи
A10 и LLaMA-7B, синтетика, свой бейзлайн, отказы не покрыты
20. 40 тыс. токенов — около 13 ГБ KV-кеша
Допущение: длинный запрос пула 70B · KV как у Llama-2-70B · FP16 · 400 Гбит/с
21. Llumnix закрывает четыре сценария «Орбиты» из пяти
Утренний пик, чат и батч, длинный префикс, обслуживание и потеря узла
22. Миграция пересматривает размещение, не заменяя соседние системы
Что Llumnix решает и что оставляет соседним системам
23. Размещение — гипотеза, которую можно пересмотреть
Что измерить до включения миграции в своём кластере?