К основному содержимому
Логотип Research Insights Made Simple
Подготовка выпуска · разбор статьиResearch Insights Made Simple

SGLang: откуда берётся ускорение?

До 6,4× на LM-программах и почти без выигрыша в длинном чате

/ Research Insights Made Simple · SGLang

Содержание слайдов

  1. 1. SGLang: откуда берётся ускорение?

    До 6,4× на LM-программах и почти без выигрыша в длинном чате

  2. 2. Ускорение даёт структура программы

    Llama-2-7B на A10G · сравнения §6.2

  3. 3. Язык и сервер проектировали вместе

    Zheng, Sheng и коллеги: программа знает больше сервера

  4. 4. Программы вместо чатов, рантайм вместо строк

    Проблема → язык → рантайм → результат

  5. 5. Страницы хранят, дерево переиспользует

    vLLM 2023 года делил префикс, заданный заранее; SGLang сам находит и хранит любые общие префиксы

  6. 6. От чата к LM-программе

    Много зависимых вызовов, поток управления, структурированный ввод-вывод

  7. 7. Писать тяжело, исполнять расточительно

    Две проблемы и один ответ: фронтенд-язык плюс сопроектированный рантайм

  8. 8. Семь примитивов внутри Python

    extend, gen, select, fork, join, image, video — остальное даёт сам Python

  9. 9. Интерпретатор как поток асинхронных операций

    Примитивы уходят в фоновый стрим, как запуск ядер CUDA; чтение результата ждёт

  10. 10. Четыре узора общих префиксов

    Few-shot, self-consistency, многоходовый чат, tree-of-thought

  11. 11. Кеш — это дерево, а не таблица

    Радиксное дерево хранит KV-кеш всех запросов; рёбра — последовательности токенов

  12. 12. Вставка, совпадение, разрез, вытеснение

    Как дерево живёт под потоком запросов: два чата, few-shot и self-consistency

  13. 13. Кеш никогда не спорит с батчем

    Счётчик ссылок защищает работающие запросы; вытесняются листья с нулём

  14. 14. Самый длинный общий префикс — первым

    Сортировка очереди по совпавшему префиксу равна обходу дерева в глубину

  15. 15. Структура программы помогает переиспользовать кеш

  16. 16. Ограничение по символам, модель — по токенам

    Regex превращается в конечный автомат, который маскирует недопустимые токены на каждом шаге

  17. 17. Сжатый автомат прыгает вперёд

  18. 18. Спекуляция для закрытых API

    Один вызов вместо двух: модель продолжает мимо stop, интерпретатор подбирает остаток

  19. 19. Сравниваем программы, а не токены

    Максимальная пропускная способность и задержка одиночной программы — разные опыты

  20. 20. Выигрыш зависит от нагрузки

    Llama-2-7B на A10G против Guidance, vLLM и LMQL; задержка ниже до 3,7×

  21. 21. Каждая деталь окупается, дерево почти бесплатно

    Попадания в кеш растят батч и режут задержку; накладные расходы дерева — 0,3 %

  22. 22. Большие модели, картинки, Chatbot Arena

    Tensor parallel сохраняет тренд; мультимодальность — до 6×; в проде до 74 % попаданий

  23. 23. Где рецепт не дотягивает

    Голодание в жадном планировщике, один уровень памяти, искажённые вероятности сжатого автомата

  24. 24. SGLang распределил DeepSeek по 96 H100

    Разделение стадий (prefill/decode) и параллелизм экспертов

  25. 25. HiCache вывел кеш за пределы GPU

    План из заключения статьи стал многоуровневой памятью

  26. 26. Кеш префиксов стал общей задачей

    Разные структуры данных обслуживают одну потребность

  27. 27. Что унести из статьи

    Структура программы — ресурс; кеш — дерево; ограничения сжимаемы