Содержание слайдов

1. 1. Холодный старт

   ServerlessLLM: как быстрее поднять новую реплику LLM

2. 2. Новая реплика полезна только после загрузки

   Три механизма ServerlessLLM и одно инженерное дополнение

3. 3. Миграция двигает запросы, старт добавляет мощность

   Продолжение разбора Llumnix и лонгрида об эксплуатации

4. 4. Утренний пик требует четырёх новых реплик

   «Орбита» · чат на 70B · ночью 2 реплики, днём 6

5. 5. Загрузка весов дольше генерации сотен токенов

   Почему холодный старт LLM долгий: скачивание и загрузка

6. 6. Обходные пути платят GPU, памятью или сетью

   Тёплый пул, кеш в DRAM и отдельные серверы хранения

7. 7. У GPU-сервера уже есть быстрый склад

   Ёмкость и полоса локальных уровней памяти

8. 8. Чекпойнт перекладывают под чтение

   Разделы по GPU, индекс тензоров и раздельные роли

9. 9. Чанки идут конвейером через все уровни

   Пул чанков, прямой ввод-вывод и закреплённая память

10. 10. Пять приёмов выводят загрузку на полосу диска

    Вклад оптимизаций · RAID 0 NVMe · модели OPT

11. 11. 10 с вместо 84: ServerlessLLM грузит LLaMA-2-70B

    8 × A5000 · RAID 0 NVMe 12 ГБ/с · FP16 · холодный кеш

12. 12. Локальность упирается в занятый GPU

    Четыре политики запуска модели B

13. 13. Переносят токены, а KV пересчитывают

    Многораундовая живая миграция и обработка сбоев

14. 14. Планировщик сравнивает оценки времени старта

    Загрузка q + n/b, миграция a × (tin + tout) + b

15. 15. Миграция обгоняет вытеснение по хвосту задержки

    4 сервера × 4 A40 · 10 Гбит/с · OPT-6.7B и крупнее

16. 16. Сквозной старт: секунды, пока хватает GPU

    Средняя задержка старта модели, с · тайм-аут 300 с

17. 17. Быстрый старт экономит GPU, нехватку не лечит

    Нагрузка, число GPU на сервер и сравнение с KServe

18. 18. Замеры сняты на малом кластере и OPT

    Что статья проверяет и чего из неё не следует

19. 19. Sleep Mode сохраняет состояние вне весов

    Embedded LLM для vLLM · 26 октября 2025 · A100

20. 20. К утру веса 70B должны лежать рядом

    Нижние границы передачи ~140 ГБ с разных уровней

21. 21. Плановые пики прогревают, внезапные размещают по локальности

    Подъём чата на 70B утром и спуск ночью

22. 22. Быстрая загрузка не заменяет запас мощности

    Что решают формат, миграция и планировщик — и что нет

23. 23. Измеряйте путь новой реплики до токена

    Где лежат веса, сколько стоит перенос, что нужно прогреть?