vLLM и PagedAttention: виртуальная память для инференса LLM

Александр Поломодов разбирает статью о vLLM и PagedAttention 2023 года как пример системной оптимизации. Обработка промпта хорошо использует вычислительные возможности GPU, а последовательная генерация требует постоянно обращаться к памяти. Размер KV-кеша ограничивает число запросов в одном вычислительном пакете. На примере OPT-13B ведущий показывает, почему после размещения весов модели остаётся мало места для состояния запросов и как резервирование и фрагментация делают этот бюджет ещё меньше.

Решение заимствует идею страничной виртуальной памяти. Логические блоки запроса отображаются на физические блоки GPU через таблицу, а новые участки выделяются по необходимости из общего пула. Ядро PagedAttention читает кеш с учётом такого размещения. Схемы показывают, как растёт последовательность и почему свободные блоки остаются доступны другим запросам. Затем обсуждается совместное использование префиксов: копирование при записи для нескольких ответов на один промпт и дерево блоков при поиске по нескольким кандидатам.

Когда память всё же заканчивается, планировщик вытесняет целую группу последовательностей: для следующего шага внимания нужны все её блоки. Состояние можно перенести в память CPU или удалить и позже восстановить вычислением. Эти способы платят разными ресурсами — передачей данных и вычислениями. Архитектура vLLM связывает планировщик, менеджер блоков и рабочие процессы GPU; при тензорном параллелизме части модели используют согласованное отображение блоков.

В экспериментах статьи пропускная способность выросла примерно в два–четыре раза относительно Orca при сопоставимой задержке. Однако само ядро внимания несёт дополнительные расходы на косвенный доступ. Размер блока тоже задаёт компромисс между накладными расходами и незаполненным остатком. В финале ведущий предлагает искать настоящее ограничение и проверять результат на уровне всей системы. Для обучения с более статичными тензорами динамическое размещение не обещает того же выигрыша; результаты 2023 года не заменяют измерений на текущей нагрузке.