Содержание слайдов

1. 1. Карта кластера инференса

   Девять статей и одна платформа: от SLO до эксплуатации

2. 2. Кластер инференса — это стопка решений

   От обещания продукту до эксплуатации флота

3. 3. Шесть разборов собираются в один кластер

   Продолжение серии и двух лонгридов об инференсе

4. 4. У четырёх нагрузок «Орбиты» разные обещания

   16 узлов × 8 H100 · три модели · четыре контура

5. 5. Ёмкость меряется goodput, а не токенами

   TTFT, TPOT и доля запросов в пределах обоих порогов

6. 6. Раскладка модели зависит от токенов в батче

   Google · PaLM 540B · 64 TPU v4 · arXiv v1

7. 7. MegaScale-Infer разносит внимание и экспертов по узлам

   ByteDance Seed · Peking University · arXiv v4 · decode

8. 8. Флот — это реплики, роутер и очереди

   Решение в момент приёма запроса трудно отменить

9. 9. Фазам нужны разные пулы

   Prefill упирается в вычисления, генерация — в память

10. 10. Разделение фаз окупается не везде

    Офлайн-работа, мало GPU, KV между узлами

11. 11. KV-кеш становится общим ресурсом кластера

    Moonshot AI · Tsinghua · arXiv v3 · dummy LLaMA2-70B

12. 12. Переносить KV или пересчитать — вопрос полосы

    Три системы, три ответа при разных условиях

13. 13. Роутер взвешивает кеш против нагрузки

    UC San Diego · arXiv v2 · правило E2

14. 14. Отказ до prefill дешевле отказа после него

    Прогноз нагрузки, приоритеты и бюджет повторов

15. 15. Живая миграция исправляет решение роутера

    Alibaba · OSDI 2024 · простой около 20–30 мс

16. 16. Новая реплика сначала платит за загрузку весов

    Edinburgh · NTU Singapore · OSDI 2024 · arXiv v2

17. 17. Сотни адаптеров делят одну базовую модель

    UC Berkeley · Stanford · SJTU · arXiv v3

18. 18. Чем теснее связаны пулы, тем шире отказ

    Потеря узла «Орбиты»: 8 GPU и всё, что на них жило

19. 19. Масштабируем по очереди, не по загрузке GPU

    Сигналы приходят раньше жалоб

20. 20. Пять вопросов до перестройки кластера

    Ответы дают замеры «Орбиты», а не статьи

21. 21. Сначала кеш и настройка, а не топология

    Решения по нагрузкам и моделям и повод их пересмотреть

22. 22. Карта сводит механизмы, а не результаты

    Разные модели, железо, трассы и базы сравнения

23. 23. Сначала обещание, потом топология

    Что измерить, что разнести, что держать вместе