Материалы выпуска Research Insights #32: vLLM и PagedAttention (Рубрика #AI)

Собрал материалы сольного выпуска Research Insights Made Simple от 28 сентября 2026 года — про vLLM и PagedAttention. История о том, как идея страничной памяти из операционных систем помогла эффективнее обслуживать запросы к LLM. Это был разбор сентябрьской статьи 2023 года "Efficient Memory Management for Large Language Model Serving with PagedAttention"

Модель уже поместилась на GPU, но рядом с её весами нужно хранить ещё и KV-кеш — ключи и значения обработанных токенов для каждого активного запроса. Ответ растёт, кеш растёт вместе с ним, а будущая длина ответа заранее неизвестна. Если резервировать память с запасом, места для соседних запросов остаётся всё меньше. Вот тут и пригодился учебник по операционным системам.

В выпуске разобрал:

🔸 Куда уходит память Резерв под будущие токены, незаполненные участки и фрагментацию — и почему даже знание длины ответа не решает все проблемы размещения.

🔸 Как устроен PagedAttention Таблица связывает логические блоки запроса с физическими блоками GPU, а новые блоки выделяются по мере необходимости.

🔸 Как делить общий префикс Несколько вариантов ответа используют одни KV-данные, а при изменении общего блока включается копирование при записи.

🔸 Что делать, когда память всё-таки закончилась Перенести состояние в память CPU или удалить и потом вычислить заново: у каждого варианта своя цена.

🔸 Почему более медленное ядро может ускорить весь сервис Экономия памяти позволяет обрабатывать больше запросов одновременно; результат нужно измерять вместе с задержкой.

В статье 2023 года авторы получили рост пропускной способности в 2–4 раза относительно FasterTransformer и Orca при сопоставимой задержке. Это результат их экспериментов с конкретными моделями и нагрузками. Для сегодняшнего сервера выигрыш придётся измерять заново.

Материалы выпуска: 📌 Страница выпуска с таймкодами 📊 Слайды 🎬 YouTube, VK Видео 🎧 Podster, Яндекс Музыка, Apple Podcasts 📝 Текстовый конспект

Если уже настраивали vLLM под свою нагрузку, расскажите в комментариях, во что упёрлись и что дало заметный выигрыш.

#AI #LLM #Inference #Architecture #ResearchInsights #Engineering