Содержание слайдов

1. 1. Эксперты на кластере

   MoE-модели на кластере: разделение внимания и экспертов, конвейер микропакетов и обмен M → N

2. 2. MoE на кластере меняет узкое место

   MegaScale-Infer (ByteDance Seed) и обзор системы DeepSeek-V3/R1

3. 3. Эксперты добавляют новую ось разбиения

   От тензорного и конвейерного разбиения к параллелизму экспертов

4. 4. MoE-модели ассистента для кода нужно несколько узлов

   16 узлов × 8 H100 80 ГБ · NVLink в узле · InfiniBand 400 Гбит/с

5. 5. Разреженность дробит пакет между экспертами

   Пример статьи: Mixtral 8x22B на A100, bf16

6. 6. Параллелизм экспертов требует двух обменов all-to-all

   Токены уходят к выбранным экспертам и возвращаются

7. 7. Внимание и эксперты переезжают на разные узлы

   Разделённый параллелизм экспертов: M реплик внимания, N узлов экспертов

8. 8. Микропакеты закрывают простои конвейером «пинг-понг»

   m микропакетов по очереди проходят внимание и экспертов

9. 9. План развёртывания ищется перебором под SLO

   TP внимания и экспертов, число реплик, микропакеты, размер пакета

10. 10. Вниманию нужна память, экспертам — вычисления

    Характеристики на единицу цены · цены нормированы к L20

11. 11. Обмен M → N требует своей библиотеки

    Без копий GPU → CPU, групповых операций и синхронизации GPU

12. 12. При 256 КБ p99-задержка ниже на 92,9%

    Микротест: 8 отправителей, 8 получателей, NIC 200 Гбит/с на GPU

13. 13. На генерации выигрыш до 1,90× к TensorRT-LLM

    8 узлов × 8 GPU Ampere 80 ГБ · TBT ≤ 150 мс · bf16

14. 14. Задержка на токен не уменьшается

    Каждый слой добавляет межузловой обмен

15. 15. Связка H20 и L40S выгоднее однородных кластеров

    Внимание на H20, эксперты на L40S · на единицу цены и мощности

16. 16. Выигрыш даёт разделение, а не только сеть

    Абляции на Ampere: разделение, M2N, микропакеты, реплики внимания

17. 17. В продакшене эксперты нагружены неравномерно

    Почти 10 000 GPU · стоимость ниже в 1,5–2,0 раза — по данным авторов

18. 18. DeepSeek растягивает параллелизм экспертов на 18 узлов

    8 из 256 экспертов на слой · prefill EP32 · генерация EP144

19. 19. За сутки нагрузка DeepSeek достигала 278 узлов

    27.02.2025 12:00 → 28.02.2025 12:00, UTC+8 · узлы по 8 H800

20. 20. Выигрыш привязан к генерации и условиям стенда

    Что измерено и чего из этого не следует

21. 21. Для «Орбиты» сначала считаем токены на эксперта

    Допущения: форма DeepSeek-V3 — 8 из 256 экспертов; H100 ≈ H800 из табл. 3

22. 22. Разделение окупается только при балансе

    Пакет на эксперта, Ta ≈ Te, обмен короче вычисления

23. 23. Эксперты заставляют планировать кластер, а не узел

    Что «Орбита» берёт себе и что проверяет до внедрения