Локальный инференс LLM в 2026 году: модели, железо, скорость и цена

Под локальным инференсом модели в этом разборе понимается выполнение открытых или доступных весов внутри контура, который контролирует владелец: на телефоне, ноутбуке, рабочей станции или небольшом сервере в офисе. Устройство может отдавать локальный HTTP API нескольким людям — важна граница данных и эксплуатации, а не то, стоит ли компьютер буквально на столе.

Это не обязательно замена облачному API. Локальная модель полезна, когда данные нельзя отправлять наружу, связь нестабильна, требуется предсказуемая задержка без сетевого пути, нужны свои веса/адаптеры или нагрузка достаточно постоянна, чтобы окупить устройство. Облако лучше переживает пики, быстрее даёт новую фронтирную модель и не требует держать драйверы, охлаждение и обновления.

Четыре разных значения слова «эффективно»

• —Модель помещается вместе с контекстом и рабочими буферами, не уходя в постоянную выгрузку на CPU.
• —Первый токен и поток ответа достаточно быстры для сценария: фоновая обработка допускает секунды, редактор кода — нет.
• —Качество проходит заданный набор задач, включая формат, русский язык, инструменты и отказ от ответа.
• —Полная стоимость, приватность и эксплуатация выгоднее доступной альтернативы — облачной или более маленькой модели.

Локальный продукт = точные веса × точный формат × среда выполнения × контекст × параллельность × лицензия. Название семейства без остальных множителей не является конфигурацией.

Три разных локальных контура

Первый контур — модель непосредственно на пользовательском устройстве. Запрос, кеш и результат не покидают телефон или ноутбук; приложение работает без сети и может использовать локальные файлы без отдельного сервера. Здесь важны энергопотребление, размер установочного пакета, время холодного старта и совместимость с NPU, Metal или встроенной графикой. Пиковая скорость редко является единственной целью: модель должна не разряжать батарею и не вытеснять из памяти основное приложение.

Второй контур — персональная рабочая станция. Модель слушает только локальный интерфейс или домашнюю сеть, а редактор кода, RAG и агент обращаются к ней через совместимый API. Такой вариант допускает дискретную GPU, большой SSD и постоянный процесс сервера, но по-прежнему оптимизируется под одного активного человека. Запросы обычно идут рывками: несколько минут агентной работы сменяются длинным простоем. Поэтому быстрый первый токен, возможность освободить память и тихое охлаждение часто важнее максимального суммарного числа токенов в секунду по нескольким одновременным запросам.

Третий контур — сервер команды внутри офиса, филиала или частного облака. Данные остаются в контролируемой сети, но система уже не персональная: нужны очередь, аутентификация, лимиты, журналы доступа, резервирование и политика обновления весов. Один и тот же компьютер может физически стоять под столом, однако по эксплуатационной модели это полноценный сервис. Сравнивать его только с подпиской на настольное приложение неправильно — альтернативой становится облачный API с аналогичными SLO, наблюдаемостью и числом пользователей.

Наконец, «локально» не автоматически означает «приватно». Загрузчик модели может обращаться к внешнему реестру, оболочка — отправлять телеметрию, инструмент агента — вызывать поисковую систему, а резервная копия истории — уходить в облако. Для чувствительного сценария проверяют весь путь данных: разрешение имён и загрузку весов, журнал запросов, плагины, обновления, резервные копии и исходящие соединения. Граница доверия определяется самым внешним компонентом, который видит исходный запрос, а не местом исполнения матричного умножения.010101Эту же рамку я разбирал в канале по книге Стива Уилсона, который вёл проект OWASP Top 10 для LLM: модель — не отдельная функция, а компонент системы с пользователями, инструментами, журналами и правами. Цепочка поставки у неё шире обычной: веса, данные, шаблоны запросов и внешние провайдеры тоже нужно версионировать и проверять.Книжный куб · книга о безопасности LLM-приложений01Эту же рамку я разбирал в канале по книге Стива Уилсона, который вёл проект OWASP Top 10 для LLM: модель — не отдельная функция, а компонент системы с пользователями, инструментами, журналами и правами. Цепочка поставки у неё шире обычной: веса, данные, шаблоны запросов и внешние провайдеры тоже нужно версионировать и проверять.Книжный куб · книга о безопасности LLM-приложений

Минимум для весов можно оценить до скачивания. Для модели с P миллиардами параметров и b битами на параметр арифметический нижний предел равен P × b / 8 гигабайт. Но файл GGUF, GPTQ, AWQ или FP4 хранит шкалы, групповые коэффициенты и метаданные. В памяти также живут рабочие тензоры, графы, токенизатор, иногда кодировщик изображений/аудио и операционная система.

Квантование весов Q4/Q5 сокращает размер и трафик, но не является обещанием одинаковой скорости или качества. Q4_K_M в llama.cpp, AWQ W4A16, GPTQ Int4 и Blackwell MXFP4 — разные упаковки с разными ядрами. «Четыре бита» без названия артефакта и среды выполнения — неполная запись.

Второй большой член — KV-кеш. Его объём зависит от числа слоёв, KV-голов, длины контекста, размерности головы, точности кеша и числа параллельно обрабатываемых запросов: каждому диалогу или генерации нужен свой KV-кеш. Поэтому заявленные 128K, 256K или миллион токенов — возможность архитектуры, а не бесплатная настройка локального API.

Рабочий лист памяти вместо таблицы «B → ГБ»

Начинайте с фактического размера файла, а не с числа параметров. Если Q4-артефакт занимает 19 ГБ на диске, для расчёта памяти берите 19 ГБ, а не арифметический минимум 17,5 ГБ. Затем один раз запустите именно целевую среду и снимите резидентную память до и сразу после загрузки: некоторые движки распаковывают часть тензоров, резервируют рабочее пространство для ядер или держат копии служебных данных. Показатель после загрузки уже включает резидентные веса, поэтому повторно прибавлять размер файла к нему нельзя. Файл остаётся нижней оценкой и проверкой здравого смысла, а разность между загруженным и исходным процессом показывает цену формата и среды выполнения.

После этого добавляется KV-кеш для рабочего, а не рекламного контекста. У многоголового внимания (MHA) число KV-голов совпадает с числом голов внимания; у внимания с группировкой запросов (GQA) несколько голов запросов делят одну пару ключей и значений; у многозапросного внимания (MQA) такая пара одна на слой. Поэтому две модели одинакового размера и длины окна могут требовать радикально разный кеш. Точность KV тоже отдельна от точности весов: Q4-веса не означают автоматически четырёхбитный кеш. FP16, FP8 и Q8 KV меняют память, скорость и иногда качество по-разному, а поддержка конкретного режима зависит от движка.

При оценке памяти для чата ориентируйтесь не на максимальное контекстное окно модели — например, 256K токенов, — а на объём контекста, уже занятого к началу генерации, и его распределение по запросам. У типичного запроса это может быть 4K токенов инструкций и документов, на уровне P95 — 24K, а при редком анализе репозитория — 80K. Планировать всю систему по редкому максимуму дорого; обрезать всё до среднего опасно. Практичный вариант — гарантировать P95, для длинного хвоста включить отдельный профиль или меньшую параллельность и явно показывать пользователю стоимость большого контекста.

Параллельность почти линейно размножает состояние последовательностей, но не веса. Один процесс с четырьмя чатами не хранит четыре копии модели, зато держит четыре набора KV и служебных буферов. Изображения добавляют токены и память визуального кодировщика; спекулятивное декодирование добавляет черновую модель или её кеш; адаптеры LoRA — свои тензоры. На объединённой памяти из номинальных 128 ГБ нельзя обещать модели все 128: ОС, приложения и видеобуферы используют тот же пул. На дискретной карте системная RAM не превращается в VRAM без выгрузки через более медленную шину.

Проверка вместимости = пиковая резидентная память целевых процессов на P95-контексте и рабочей параллельности + не попавшие в замер мультимодальные/черновые компоненты + запас ОС и приложений. В этот пик уже входят веса, накладные расходы среды и KV-кеш.

На 24-гигабайтной карте плотная 27B Q4 с арифметическим минимумом 13,5 ГБ выглядит свободно. Реальный артефакт, длинный KV, изображения и графы CUDA могут быстро превратить запас в дефицит. Для Qwen3.6-35B-A3B минимум Q4 — 17,5 ГБ, но официальный FP8-файл весов занимает около 37,5 ГБ: он предназначен уже для 48 ГБ, а Q4 сообщества в 24 ГБ требует короткого контекста и проверки качества.

Плотные модели и MoE отвечают на разные вопросы

В плотной модели почти все веса участвуют в каждом токене. В модели типа «смесь экспертов» (MoE) все эксперты обычно должны поместиться, но маршрутизатор активирует только часть. Поэтому 35B-A3B хранит около 35B параметров, а для каждого токена задействует около 3B. В эти 3B уже входит общий эксперт — отдельно прибавлять его не нужно. Это главный источник очень высокой скорости современных локальных MoE — и главная причина не путать число активных параметров с требованием к памяти.020202Разбирал в канале доклад про рынок ускорителей, и там эта же мысль приходит со стороны железа: у потребительской и серверной карты пиковая производительность сопоставима, а полоса памяти отличается втрое — 1 против 3 ТБ/с. Вместимость и темп действительно продаются отдельно.Книжный куб · куда катится железо для нейронок02Разбирал в канале доклад про рынок ускорителей, и там эта же мысль приходит со стороны железа: у потребительской и серверной карты пиковая производительность сопоставима, а полоса памяти отличается втрое — 1 против 3 ТБ/с. Вместимость и темп действительно продаются отдельно.Книжный куб · куда катится железо для нейронок

Рынок открытых весов уже нельзя описать одной лестницей «больше параметров — лучше». Мультимодальность, поддержка инструментов, механизм внимания, доля активных экспертов, доступные форматы квантизации и лицензия часто важнее небольшой разницы в числе параметров. Ниже — короткий список классов, а не рейтинг качества.

Что выглядит особенно практично

Для существующего ноутбука первый разумный опыт — 3–12B: Gemma 4 E4B/12B, Ministral 3 или Qwen3.5 4B/9B. Для новой 24–32 ГБ GPU-системы центр тяжести — gpt-oss-20b, Qwen3.6-27B/35B-A3B, Gemma 4 26B-A4B/31B и Nemotron 3 Nano. Они уже пригодны для кода, документов и вызовов инструментов, но ещё не требуют распределённого размещения.

Качество нельзя вывести из числа параметров

Сравнивайте модели на той форме ответа, которая попадёт в продукт. Для агента разработки недостаточно решить изолированную задачу по алгоритмам: модель должна найти нужный файл, удержать ограничения репозитория, сформировать применимый патч, корректно вызвать инструмент и остановиться после результата. Для RAG важны ссылки на переданные фрагменты и устойчивость к конфликтующим инструкциям в документе. Для русского помощника отдельно проверяются морфология, смешанный русско-английский код и локальные названия, а не только переведённый общий тест.

Оценивайте не только архитектуру модели, но и конкретную сборку весов. Результаты BF16 или официальной FP8-версии нельзя автоматически переносить на стороннюю Q4-сборку: способ квантизации и качество конвертации могут изменить поведение модели. Ошибка может концентрироваться не в среднем ответе, а в редких навыках: строгом JSON, длинном рассуждении, выборе инструмента или зрительном распознавании мелкого текста. Поэтому у строки эвала должны быть полное имя файла, хеш, шаблон чата, параметры выбора токена и версия токенизатора. Если точный артефакт не воспроизводится, его показатель нельзя использовать для покупки железа.

Режим рассуждения тоже меняет экономику. Модель может отвечать точнее, но генерировать в несколько раз больше скрытых или видимых токенов; высокая скорость в токенах в секунду тогда не гарантирует меньшего времени до принятого результата. Осмысленная здесь метрика — принятые задачи в единицу времени; эквивалентный взгляд на одну попытку: ожидаемое время до принятого результата примерно равно задержке полного цикла, делённой на долю принятых задач, с учётом повторов. В фоновом пакетном анализе результат одной задачи можно ждать несколько минут, а неудачные попытки — автоматически повторять. В расширении для IDE даже качественная модель проигрывает, если первый полезный фрагмент появляется после того, как разработчик уже переключился на другую задачу.

Лицензия — такой же жёсткий фильтр, как память

«Открытые веса» — это не одна лицензия. У каждого выпуска свои условия: например, gpt-oss и многие модели Qwen и Mistral распространяются по Apache 2.0, а у Gemma — отдельная лицензия Google. Apache 2.0 обычно разрешает коммерческое использование. Но если вы распространяете модель или производный продукт, нужно приложить текст лицензии, сохранить обязательные уведомления об авторстве и отдельно проверить лицензии токенизатора, кода и других компонентов. У Llama, Nemotron, Kimi и MiniMax свои условия, ограничения использования или пороги, после которых появляются дополнительные обязательства. Название лицензии в реестре модели надо сверять с текстом конкретного выпуска: семейство может менять условия между версиями.

Отдельно проверяются данные и результат. Возможность скачать веса не даёт прав на голоса, изображения, документы или код, переданные модели; синтез речи требует согласия владельца голоса; локальный RAG не отменяет режим коммерческой тайны и сроки хранения. Для продукта зафиксируйте версию лицензии, страницу источника, дату скачивания и набор ограничений рядом с хешем весов. Это превращает будущую замену модели из расследования в обычное обновление зависимости.030303Хороший пример того, как это выглядит на конкретном релизе, я разбирал в канале: GigaChat 3 Ultra выложили под MIT — это MoE примерно на 702B параметров, из которых на шаге генерации активны около 36B, и совместимость со стандартным инструментарием заявлена отдельным пунктом. Лицензия, режим и совместимость объявляются вместе, а не выводятся из размера.Книжный куб · техрепорт GigaChat 3 Ultra03Хороший пример того, как это выглядит на конкретном релизе, я разбирал в канале: GigaChat 3 Ultra выложили под MIT — это MoE примерно на 702B параметров, из которых на шаге генерации активны около 36B, и совместимость со стандартным инструментарием заявлена отдельным пунктом. Лицензия, режим и совместимость объявляются вместе, а не выводятся из размера.Книжный куб · техрепорт GigaChat 3 Ultra

Класс 100–120B теперь реален на одном устройстве с 80–128 ГБ благодаря MoE и обученным FP4-форматам. OpenAI прямо указывает 16 ГБ для gpt-oss-20b и 80 ГБ для gpt-oss-120b. Это рекомендация вместимости, не обещание конкретного числа токенов в секунду: DGX Spark, M3 Ultra и RTX PRO 6000 читают память с очень разной скоростью.

Модели 284B–1T остаются «локальными» только в смысле собственного кластера. DeepSeek V4 Flash публикуется примерно 160-гигабайтным файлом весов смешанного формата, Kimi K2.7 Code — около 595 ГБ. Два маленьких узла могут технически запустить большую квантованную модель, но сеть и частичный перенос весов часто дают ответ медленнее хорошей 20–35B модели на одной карте.

Длинное окно — возможность, а не рекомендация

Контекст в 262K или миллион токенов полезен для редких задач, но не заменяет поиск и структуру данных. С ростом окна увеличиваются время обработки входа, KV-кеш и вероятность того, что модель потеряет важное среди второстепенного. Показатель на тесте поиска иголки не равен качеству анализа длинного договора или репозитория. Сравните как минимум три режима: короткий запрос без RAG, отобранные фрагменты с источниками и полный длинный документ. Часто средний вариант даёт лучший ответ при меньшей задержке.

Для мультимодальной модели считаются не только текстовые токены. Разрешение, число кадров, предварительное уменьшение изображения и способ разбиения страницы меняют длину визуальной последовательности. Модель, помещающаяся на текстовом тесте, может выйти за память на пачке сканов. Перед тем как выбирать конфигурацию с 24 или 32 ГБ памяти, запустите модель на реальных PDF, скриншотах и фотографиях. В тест включите максимальное число файлов или страниц, которое система должна обработать за один запрос. Если основная задача — распознавание текста в документах, компактная специализированная модель может оказаться дешевле и стабильнее универсальной модели с 30 млрд параметров.

Не вся локальная AI-работа требует генератора общего назначения

Для RAG генератор — только один компонент. Qwen3 Embedding или Granite Embedding могут работать на CPU/малой GPU, Qwen3-Reranker применяется к короткому top-K, а большая LLM получает уже отобранные фрагменты. Такой конвейер часто быстрее и точнее, чем попытка загрузить всю базу в заявленные 256K контекста.

Сначала проверьте объём памяти: в ней должны одновременно поместиться веса модели, KV-кеш и служебные данные. Когда система генерирует один ответ, скорость большой плотной модели часто упирается в чтение весов из памяти. Поэтому для локального чата важнее смотреть на пропускную способность памяти, а не только на рекламные TOPS — теоретическое число триллионов операций в секунду. Грубая верхняя оценка скорости проста: разделите реальную пропускную способность памяти на объём весов, который нужно прочитать для получения одного токена. Пиковая пропускная способность из спецификации даёт лишь идеальный потолок. На практике скорость ниже из-за работы механизма внимания и с контекстом, синхронизации и неполной загрузки устройства.

Почему Apple-линейка выглядит странно именно сейчас

У поколения Mac Studio документированы M4 Max до 128 ГБ и M3 Ultra до 512 ГБ, но текущий американский конфигуратор предлагает лишь 36/64 ГБ и 96 ГБ соответственно. Зато MacBook Pro M5 Max доступен с 128 ГБ и полосой до 614 ГБ/с: в августе 2026 это самый ёмкий вариант Apple, доступный к заказу сейчас. В статье разделены «умеет платформа» и «можно заказать сегодня» — иначе историческая спецификация превращается в ложную рекомендацию покупки.040404Здесь у меня личный опыт: я как раз взял мини-ПК на Ryzen AI Max+ 395 со 128 ГБ объединённой памяти, из которых под видеопамять можно отдать 96 ГБ, и рассказывал об этом в канале. Квантованные модели на 70–80B помещаются свободно, а вот ROCm на не-LTS Ubuntu у меня тогда не завёлся — это ровно та строка бюджета, которая не видна в спецификации.Книжный куб · мини-ПК на Ryzen AI Max+ 39504Здесь у меня личный опыт: я как раз взял мини-ПК на Ryzen AI Max+ 395 со 128 ГБ объединённой памяти, из которых под видеопамять можно отдать 96 ГБ, и рассказывал об этом в канале. Квантованные модели на 70–80B помещаются свободно, а вот ROCm на не-LTS Ubuntu у меня тогда не завёлся — это ровно та строка бюджета, которая не видна в спецификации.Книжный куб · мини-ПК на Ryzen AI Max+ 395

Дискретная GPU или объединённая память

• —RTX 5090 даёт 1,79 ТБ/с и самый зрелый CUDA-путь, но ограничена 32 ГБ и не имеет NVLink.
• —R9700 и Arc Pro B70 дают те же 32 ГБ дешевле, но поддержку точной модели и кванта надо проверять на связке ОС–драйвер–среда выполнения.
• —Mac/Framework/DGX Spark позволяют адресовать 64–128 ГБ без выгрузки через PCIe, зато их 256–819 ГБ/с сильнее ограничивают большие плотные модели.
• —RTX PRO 6000 совмещает 96 ГБ и 1,79 ТБ/с, но цена и 600 Вт переводят решение из персонального в профессиональный класс.

CPU, NPU и несколько GPU занимают свои ниши

CPU остаётся полезным не только как запасной путь. Маленькие модели, эмбеддинги, переранжирование и фоновая пакетная обработка могут работать на уже купленной машине без отдельной карты. Скорость сильно зависит от каналов памяти и векторных инструкций: два компьютера с одинаковым объёмом RAM не эквивалентны. Для редкого запроса 5–10 ток/с могут быть экономичнее нулевой загрузки большой GPU. Кроме того, llama.cpp позволяет оставить часть слоёв на CPU, чтобы проверить модель крупнее VRAM, но такой режим следует считать экспериментом вместимости, а не обещанием интерактивной скорости.

NPU в ноутбуках и телефонах хорош для устойчивой малой модели, когда критичны батарея и отсутствие шума. Его рекламные TOPS нельзя напрямую сравнивать с полосой дискретной GPU: поддерживаемые операции, формат весов, максимальный размер тензора и инструменты компиляции ограничивают реальную модель. Готовой демонстрации поставщика недостаточно. Убедитесь, что его инструменты позволяют преобразовать и запустить модель нужной архитектуры, а затем обновлять её без выпуска новой версии приложения.

Несколько потребительских GPU складывают объём лишь после разбиения модели, а не превращаются в одну прозрачную память. RTX 5090 не имеет NVLink: слои или тензоры обмениваются через PCIe, синхронизация режет скорость, а корпус должен питать и охлаждать две 575-ваттные карты. Две более дешёвые 32 ГБ карты могут дать 64 ГБ вместимости, но не гарантируют темп одной профессиональной 96 ГБ карты. Перед такой покупкой нужен измеренный запуск точного движка с тем же способом разбиения.

Объединённая память выигрывает простотой: большой файл доступен CPU и GPU без ручного переноса, а система тише типичной многокарточной станции. Цена — общая полоса и конкуренция с приложениями. Дискретная VRAM даёт большую полосу и зрелые специализированные ядра, но создаёт жёсткую стену вместимости. Отсюда практическое правило: для 7–35B и интерактивной работы сначала смотрите на быструю дискретную карту; для 70–120B и одного пользователя — на большой единый пул; для общего сервера, где важны и вместимость, и параллельность, — на серверную GPU после отдельного расчёта.

Токены в секунду имеют смысл только рядом с моделью, квантом, средой выполнения, версией, длиной уже занятого контекста и режимом теста. llama-bench разделяет обработку входного контекста (англ. prompt processing, pp) и пошаговую генерацию текста (англ. text generation, tg); токенизация и выбор следующего токена в эти числа не входят. Скорость чата также включает очередь, построение контекста и потоковую выдачу.

Что всё-таки можно вывести

Во-первых, 20–35B MoE на одной современной карте уже генерирует быстрее чтения человеком. Во-вторых, 128 ГБ при 256–273 ГБ/с полезны прежде всего вместимостью: gpt-oss-120b остаётся быстрым из-за 5,1B активных параметров, а плотная 70B на том же устройстве будет значительно медленнее. В-третьих, контекст имеет цену: в опубликованном тесте DGX Spark gpt-oss-120b падает с примерно 59 до 43 ток/с при переходе от пустого к 32K занятого контекста.

Наконец, программное обеспечение способно поменять результат без замены GPU. В отдельном опыте llama.cpp совместное включение объединения операций и конкурентных потоков CUDA поднимало tg128 Qwen3 30B-A3B на RTX 5090 примерно с 247 до 352 ток/с. Переменная среды называлась GGML_CUDA_GRAPH_OPT, но автор прямо уточнил: к CUDA Graphs механизм отношения не имел. Это не универсальное ускорение, а напоминание фиксировать версию кода, флаги и прогрев вместе с названием карты.050505Ту же дисциплину измерений я разбирал в канале по докладу Maxime Labonne из Liquid AI: считать номинальные операции недостаточно, выбирать модель по таблице лидеров — тем более. Мерить нужно обработку входа, генерацию, объём памяти, эффект кванта и холодный старт на своём железе и своей среде выполнения.Книжный куб · Liquid AI об обучении маленьких моделей05Ту же дисциплину измерений я разбирал в канале по докладу Maxime Labonne из Liquid AI: считать номинальные операции недостаточно, выбирать модель по таблице лидеров — тем более. Мерить нужно обработку входа, генерацию, объём памяти, эффект кванта и холодный старт на своём железе и своей среде выполнения.Книжный куб · Liquid AI об обучении маленьких моделей

Что измерять кроме среднего темпа

Обработка входа и генерация нагружают систему по-разному. Большой PP важен для первого прохода по документу, но пользователь ощущает задержку до первого токена (TTFT) — туда входят токенизация, очередь, подготовка кеша и первая итерация генерации. TG описывает установившийся поток одного ответа, но скрывает паузы между отдельными токенами. Для редактора кода записывайте P50 и P95 TTFT, средний интервал токена и самый длинный разрыв. Два запуска с одинаковыми ток/с могут ощущаться совершенно по-разному.

Контекст должен быть уже занят до замера генерации. Тест на пустом кеше отвечает на вопрос о потолке железа, а не о многошаговом агенте после двадцати сообщений и результатов инструментов. Возьмите P50/P95 входной длины из реального трейса и измерьте несколько выходных длин. Короткий TG32 может не успеть показать нагрев и снижение частоты; длинный TG512 выявляет установившийся режим, но не представляет ответы, которые обычно заканчиваются через 80 токенов. Нужны оба среза.

Для общего сервера важна производительность при конкурентной генерации, а не только скорость одного ответа. Отправьте одновременно 1, 2, 4 и 8 запросов и для каждого уровня измерьте суммарную скорость генерации, P95 задержки и долю запросов, уложившихся в SLO. Непрерывная пакетная обработка увеличивает суммарное число токенов в секунду, но может ухудшить интервал между токенами для одного пользователя. Также проверьте отмену запросов. Когда агент прекращает генерацию ставшего ненужным ответа, система должна быстро освободить занятые запросом ресурсы: KV-кеш и слот планировщика. Иначе тест, в котором все ответы генерируются до конца, завысит число запросов, одновременно обслуживаемых сервером.

Наконец, измеряйте принятую работу, а не только вычисление. Для кода это применившийся патч и прошедшие тесты; для извлечения — валидная схема и правильные поля; для RAG — ответ с подтверждаемой ссылкой. Деление числа принятых задач на энергию и время даёт показатель, который можно сравнить с облаком. Сырая скорость модели, требующей вдвое больше повторов, почти всегда создаёт ложную экономию.060606Этот принцип подробнее разобран в лонгриде «Экономика AI в разработке: от токенов к принятой работе». Стоимость принятой задачи включает не только вызов модели, но и инструменты, повторы, проверку человеком, доработку и ожидаемые потери от ошибок.06Этот принцип подробнее разобран в лонгриде «Экономика AI в разработке: от токенов к принятой работе». Стоимость принятой задачи включает не только вызов модели, но и инструменты, повторы, проверку человеком, доработку и ожидаемые потери от ошибок.

Разные программы начинают поддерживать новую модель не одновременно и часто лишь частично. Например, программа уже распознаёт токенизатор, но обрабатывает изображения на CPU вместо GPU; загружает FP8-веса, но не умеет быстро выполнять вычисления с ними на выбранной GPU; запускает модель в llama.cpp, тогда как текущая версия vLLM её ещё не поддерживает. Перед покупкой проверяйте конкретную модель, формат весов и версию среды выполнения. Поддержка похожей модели ничего не гарантирует.

Для одного пользователя разумная базовая линия — llama.cpp/MLX через LM Studio, Ollama или прямой CLI: он быстро выявляет, помещается ли точный GGUF и какой темп генерации даёт пакет 1. Для общего Linux API переходите к сервингу модели через vLLM/SGLang/TensorRT-LLM только после проверки поддержки архитектуры: там уже важны непрерывное формирование пакетов, аутентификация, квоты, кеш префиксов и P95, а не один локальный чат.

• •Зафиксировать версию модели, токенизатор, шаблон чата и хеш весового файла.
• •Зафиксировать ОС, прошивку, драйвер, версию/контейнер среды выполнения и все флаги.
• •Прогнать холодный старт, затем устойчивый нагрев; записать пиковые RAM/VRAM и мощность из розетки.
• •Отдельно проверить текст, изображения, JSON, вызовы инструментов, длинный контекст и отмену генерации.
• •Обновлять один слой за раз и иметь откат: «новее» не гарантирует поддержку старого кванта.

Воспроизводимая сборка важнее самого удобного интерфейса

Графическая оболочка удобна для первого опыта, но производственная конфигурация должна пережить перезапуск и обновление. Сохраните команду запуска или файл настроек, источник и хеш модели, версию движка, драйвера и шаблона чата. Проверьте восстановление после перезагрузки без ручного клика и поведение при повреждённом скачивании. Если продукт зависит от единственного файла из пользовательского реестра, сохраните проверенную копию в своём контуре с соблюдением лицензии.

Совместимый с OpenAI API интерфейс упрощает замену сервера, но не делает семантику одинаковой. Различаются названия моделей, подсчёт токенов, формат вызовов инструментов, поддержка изображений, потоковые события и причины остановки. Перед переключением клиента запишите контрактные тесты на обычный ответ, JSON, отмену, тайм-аут и переполнение контекста. Тогда переход между Ollama, LM Studio, llama.cpp server и vLLM не превращается в ручную проверку всего приложения.

Для офлайн-контура заранее решите, как попадут обновления безопасности и новые веса. Полная изоляция без процесса доставки быстро оставляет уязвимый драйвер и устаревшую модель. Практичнее подписанный пакет, проверка хеша, тестовый стенд и контролируемое окно обновления. Локальность отвечает на вопрос, кто контролирует изменение, а не требует никогда ничего не обновлять.070707Практическую сторону этого выбора я разбирал в канале по большой статье о локальном запуске: там на пальцах показано, почему Ollama удобнее, но медленнее llama.cpp, как раскладка тензоров и режимы вроде cmoe меняют результат на MoE-моделях и почему дефолтный квант из оболочки редко оказывается лучшим.Книжный куб · как выжать больше из локальных LLM07Практическую сторону этого выбора я разбирал в канале по большой статье о локальном запуске: там на пальцах показано, почему Ollama удобнее, но медленнее llama.cpp, как раскладка тензоров и режимы вроде cmoe меняют результат на MoE-моделях и почему дефолтный квант из оболочки редко оказывается лучшим.Книжный куб · как выжать больше из локальных LLM

Сценарий задаёт минимально полезное качество и форму нагрузки. Голосовой роутер выигрывает от 3B на устройстве, даже если 27B отвечает умнее. Агент разработчика нуждается в устойчивом диффе/JSON и низком интервале токена. Общий RAG-сервер требует параллельности и доступа, хотя демонстрация с пакетом 1 выглядит так же.

1. Уже есть компьютер — начните с нулевого CapEx

Для приватного поиска и черновиков 8–12B Q4 на 16–32 ГБ часто закрывает задачу. Сначала измерьте его на существующем устройстве. Покупка 32 ГБ GPU ради модели, которая не проходит ваш эвал, лишь делает неправильный ответ быстрее.

2. Рабочее место разработчика — 24–48 ГБ

Если главный сценарий — код и агент, выбирайте между скоростью дискретной GPU и удобством единой памяти. RTX 5090 — очень высокая интерактивная скорость и зрелый CUDA-путь; R9700/B70 — более дешёвые 32 ГБ при дополнительной работе со стеком; M4 Pro/M5 Max — тихая машина, на которой код, IDE и модель делят память. Проверяйте не HumanEval, а свои репозитории, формат патча и цикл с инструментами.

3. Большая персональная модель — 96–128 ГБ

Framework Desktop на AMD Ryzen AI Max+ 395 со 128 ГБ памяти за $3 449 — самый дешёвый в таблице новый путь к gpt-oss-120b, но его 256 ГБ/с лучше подходят MoE, чем плотной 70B. DGX Spark дороже, зато даёт CUDA, 4 ТБ SSD и ConnectX-7. MacBook Pro M5 Max и Mac Studio M3 Ultra предлагают более высокую полосу и Metal/MLX, но отличаются ценой, термикой и доступными конфигурациями.

4. Небольшая команда — это уже сервис

Один пользователь может терпеть холодную загрузку и занимать всю память. Пять пользователей создают очередь, несколько KV-кешей и требования к аутентификации. Здесь полезно вернуться к отдельному разбору инференса LLM как распределённой системы — непрерывное формирование пакетов может дать больше, чем переход на следующую модель GPU.

5. Голос, документы и периферийное устройство

Для диктовки, команд и первичного разбора документов выгоден составной конвейер: маленькая ASR или OCR-модель, маршрутизатор 2–4B и более крупный генератор только для сложных запросов. Он снижает среднюю задержку и позволяет оставить чувствительный сырой звук или изображение на устройстве. Приёмка включает сквозную задержку от сигнала до действия, качество на шуме и акцентах, потребление батареи, ошибочные срабатывания и работу без сети. Один показатель генератора эту систему не описывает.

6. Исследовательская лаборатория — покупается гибкость

Несколько GPU или узлов оправданы, когда целью является сравнение форматов, разработка ядер, исследование больших моделей или воспроизводимость собственного кластера. Здесь ценность дают ECC, быстрая сеть, достаточный SSD, удалённое управление и возможность закрепить версии. Если конечная задача — один личный чат, та же конфигурация почти наверняка проиграет одной быстрой карте или облаку по цене, сложности и времени инженера. Лабораторию оценивают по числу воспроизводимых экспериментов, а не по максимальному числу параметров, которое однажды удалось загрузить.

При локальном запуске нет платы API за каждый токен, но возникают другие расходы: покупка оборудования, электричество, хранение моделей, инженерное сопровождение, а также потери из-за простоя и возможного снижения качества. Совокупная стоимость владения должна включать компьютер целиком: карта RTX 5090 за $1 999 требует материнскую плату, CPU, RAM, быстрый SSD, блок питания и охлаждение. У Mac/DGX цена уже системная, у Framework — без накопителя и ОС.

Энергию лучше считать по измеренной средней мощности на рабочем профиле, а не по TDP. Для примера, устройство со средними 250 Вт при 8 часах в день потребляет около 730 кВт⋅ч в год; стоимость зависит от местного тарифа. Постоянно включённый общий сервер — уже около 2 190 кВт⋅ч без охлаждения. Но при редких запросах главным расходом остаётся амортизация, а не электричество.080808Вторую половину этого сравнения — цену альтернативы — я разбирал в канале по материалу SemiAnalysis: годовой контракт на H100 подорожал примерно на 40%, с 1,70 до 2,35 доллара за GPU-час за несколько месяцев. Облачная строка в вашей формуле окупаемости тоже не константа.Книжный куб · индекс цен аренды GPU08Вторую половину этого сравнения — цену альтернативы — я разбирал в канале по материалу SemiAnalysis: годовой контракт на H100 подорожал примерно на 40%, с 1,70 до 2,35 доллара за GPU-час за несколько месяцев. Облачная строка в вашей формуле окупаемости тоже не константа.Книжный куб · индекс цен аренды GPU

Три расчёта вместо одной точки окупаемости

Для редкой личной нагрузки считайте устройство по полной цене: большая часть его жизни проходит в простое, а экономия API мала. Если компьютер всё равно покупается для разработки, локальному AI можно приписать лишь добавочную стоимость памяти или GPU — но это надо честно отметить как другой сценарий. Для общего сервера добавляются резерв, администрирование, мониторинг и стоимость недоступности. Смешивать эти три базы в одной строке «окупится за N месяцев» нельзя.

Срок амортизации должен соответствовать риску стека. Корпус и блок питания могут служить пять лет, GPU — три, а полезный формат модели смениться за несколько месяцев. Посчитайте оптимистичную, рабочую и низкую загрузку, затем отдельно сценарий, где через год требуется больше памяти. Остаточная стоимость потребительской карты может уменьшить риск; распаянная память и специализированный узел хуже модернизируются, зато продаются как готовая система.

Стоимость облака тоже не постоянна: кеширование входа, пакетный режим и более дешёвая модель меняют знаменатель. С другой стороны, локальная система может экономить не токены, а время согласования данных или стоимость инцидента приватности. Финальный расчёт должен показывать денежные допущения отдельно от нефинансовых требований. Если приватность обязательна, вопрос окупаемости выбирает между локальными вариантами, а не отменяет само ограничение.

Надёжный выбор начинается не с обзора железа, а с нижней границы приемлемого качества для конкретного сценария. Сначала зафиксируйте этот порог и проверьте на нём модели; затем выберите точный файл весов, рассчитайте необходимый объём памяти, убедитесь в совместимости программного стека и только после этого подбирайте устройство. Модель, которая не достигает заданного порога качества, исключают. Если модель проходит проверку, но не помещается в память, выбирают другой формат весов или устройство с большим объёмом памяти. Если она помещается, но отвечает слишком медленно, сначала проверяют пропускную способность памяти и поддержку необходимых GPU-ядер — и лишь затем рассматривают другую видеокарту.090909Про то, как легко подменить эвал удобной метрикой, я разбирал в канале доклад Sonar: модель проходит тесты и всё равно оставляет код, который команда потом разгребает. Вывод переносится и сюда: свой набор задач и независимая проверка результата важнее любой таблицы с токенами в секунду.Книжный куб · почему pass rate уже мало09Про то, как легко подменить эвал удобной метрикой, я разбирал в канале доклад Sonar: модель проходит тесты и всё равно оставляет код, который команда потом разгребает. Вывод переносится и сюда: свой набор задач и независимая проверка результата важнее любой таблицы с токенами в секунду.Книжный куб · почему pass rate уже мало

Минимальный протокол перед заказом

• •Собрать 50–200 реальных запросов с P50/P95 длиной, форматами и правильными ответами.
• •Выбрать две модели разных размеров и по два точных артефакта, а не десять названий семейств.
• •Арендовать или найти близкое железо на день; зафиксировать версии и прогнать одинаковый трейс.
• •Записать качество, TTFT, PP, TG, P95, пиковую память, мощность и отказы инструментов.
• •Посчитать полный чек устройства и три сценария загрузки: редкий, рабочий и общий сервер.
• •Покупать конфигурацию с запасом для контекста, но не ради модели, которую вы не собираетесь использовать.

Условия остановки защищают бюджет

До теста запишите, при каком результате покупка отменяется: качество ниже порога, P95 выше SLO, память без 15-процентного запаса, неподходящая лицензия или отсутствие воспроизводимой сборки. Иначе после дня настройки легко принять сам факт запуска за успех. Если проверка показывает, что ни одна локальная модель не достигает заданного порога качества на целевых задачах, рациональный выбор — гибридная схема или облачный сервис. Это дешевле, чем тратить время на оптимизацию модели, которая не решает целевую задачу с необходимым качеством.

Пять ловушек, которые выглядят как быстрый выбор

Первая — покупать по максимальному размеру модели. Больший файл может отвечать медленнее, иметь неподходящую лицензию и хуже соблюдать формат, тогда как специализированная 12–24B закроет задачу. Вторая — принимать расчётный размер Q4-весов за весь объём памяти, необходимый во время инференса. Помимо весов память занимают служебные данные формата, KV-кеш, рабочие буферы и вычислительные графы, кодировщик и ОС. Поэтому модель, которая по простой арифметике «должна поместиться», на практике может не войти целиком в память ускорителя и начать использовать более медленную системную память.

Третья — напрямую сравнивать значения токенов в секунду из разных обзоров и таблиц. Если тесты выполнены на разных моделях, вариантах квантования, длинах контекста, размерах пакета или версиях движка, результаты несопоставимы. Чужие измерения можно использовать как грубый ориентир, но окончательное сравнение требует повторить один и тот же набор запросов на всех кандидатах. Четвёртая — покупать две карты только ради суммы VRAM. Без измерения разбиения, PCIe и поддержки движка это дорогой способ получить больше памяти при меньшей отзывчивости.

Пятая — строить выбор вокруг обещанного будущего. Анонс памяти, неподтверждённая поддержка новой архитектуры или ожидаемый квант не являются рабочей конфигурацией на дату выбора. В короткий список попадает только то, для чего одновременно существуют точные веса, доступное железо, совместимая среда и повторяемый тест. Будущие варианты полезно держать в наблюдении с датой следующей проверки, но нельзя закладывать в текущий SLO и бюджет.

Самый сильный антидот всем пяти ловушкам — маленький воспроизводимый стенд. Один архив запросов, один скрипт запуска и одна таблица результатов позволяют менять по одному параметру: сначала модель, затем квант, затем среду и лишь потом железо. Так покупка становится следствием наблюдаемого узкого места. Без такого стенда каждый новый обзор обнуляет решение, потому что сравнивает другую систему.

Повторяйте этот стенд после существенного обновления модели или среды, но храните предыдущий результат. Регрессия может выглядеть как рост средней скорости при ухудшении P95, памяти или качества инструментов. Версия считается лучше только тогда, когда проходит те же пороги на том же архиве. Такой журнал даёт ещё одну ценность: через несколько месяцев становится видно, ограничивает продукт сама модель, объём памяти, полоса, программный стек или уже неактуальный сценарий. Тогда модернизация отвечает на конкретный вопрос, а не на общий страх отстать от следующего выпуска железа. Решение остаётся проверяемым даже после смены команды, поставщика и владельца локального сервиса на протяжении лет.

Практический вариант по умолчанию в 2026 году выглядит скучно: существующая машина и 8–14B для проверки продукта; затем 24–32 ГБ и 20–35B MoE для личного агента; 96–128 ГБ только после доказанного выигрыша 100–120B. Несколько GPU и 284B+ — исследовательская ветка, а не обязательный следующий шаг.