Локальный инференс LLM в 2026 году: модели, железо, скорость и цена

Под локальным инференсом модели в этом разборе понимается выполнение открытых или доступных весов внутри контура, который контролирует владелец: на телефоне, ноутбуке, рабочей станции или небольшом сервере в офисе. Устройство может отдавать локальный HTTP API нескольким людям — важна граница данных и эксплуатации, а не то, стоит ли компьютер буквально на столе.

Это не обязательно замена облачному API. Локальная модель полезна, когда данные нельзя отправлять наружу, связь нестабильна, требуется предсказуемая задержка без сетевого пути, нужны свои веса/адаптеры или нагрузка достаточно постоянна, чтобы окупить устройство. Облако лучше переживает пики, быстрее даёт новую фронтирную модель и не требует держать драйверы, охлаждение и обновления.

Четыре разных значения слова «эффективно»

• —Модель помещается вместе с контекстом и рабочими буферами, не уходя в постоянную выгрузку на CPU.
• —Первый токен и поток ответа достаточно быстры для сценария: фоновая обработка допускает секунды, редактор кода — нет.
• —Качество проходит заданный набор задач, включая формат, русский язык, инструменты и отказ от ответа.
• —Полная стоимость, приватность и эксплуатация выгоднее доступной альтернативы — облачной или более маленькой модели.

Локальный продукт = точные веса × точный формат × среда выполнения × контекст × параллельность × лицензия. Название семейства без остальных множителей не является конфигурацией.

Дальше трейсом называю сохранённые запросы и последовательность вызовов модели и инструментов, которые можно повторить. Квант — конкретная квантованная сборка весов, например Q4; сравнивать нужно точный файл, а не только число бит. Среда выполнения — программа, которая загружает эти веса и выполняет запросы, вместе с её настройками и версией.

Три разных локальных контура

Первый контур — модель непосредственно на пользовательском устройстве. Запрос, кеш и результат не покидают телефон или ноутбук; приложение работает без сети и может использовать локальные файлы без отдельного сервера. Здесь важны энергопотребление, размер установочного пакета, время холодного старта и совместимость с NPU, Metal или встроенной графикой. Пиковая скорость редко является единственной целью: модель должна не разряжать батарею и не вытеснять из памяти основное приложение.

Второй контур — персональная рабочая станция. Модель слушает только локальный интерфейс или домашнюю сеть, а редактор кода, RAG и агент обращаются к ней через совместимый API. Такой вариант допускает дискретную GPU, большой SSD и постоянный процесс сервера, но по-прежнему оптимизируется под одного активного человека. Запросы обычно идут рывками: несколько минут агентной работы сменяются длинным простоем. Поэтому быстрый первый токен, возможность освободить память и тихое охлаждение часто важнее максимального суммарного числа токенов в секунду по нескольким одновременным запросам.

Третий контур — сервер команды внутри офиса, филиала или частного облака. Данные остаются в контролируемой сети, но система уже не персональная: нужны очередь, аутентификация, лимиты, журналы доступа, резервирование и политика обновления весов. Один и тот же компьютер может физически стоять под столом, однако по эксплуатационной модели это полноценный сервис. Сравнивать его только с подпиской на настольное приложение неправильно — альтернативой становится облачный API с аналогичными SLO, наблюдаемостью и числом пользователей.

Наконец, «локально» не автоматически означает «приватно». Загрузчик модели может обращаться к внешнему реестру, оболочка — отправлять телеметрию, инструмент агента — вызывать поисковую систему, а резервная копия истории — уходить в облако. Для чувствительного сценария проверяют весь путь данных: разрешение имён и загрузку весов, журнал запросов, плагины, обновления, резервные копии и исходящие соединения. Граница доверия определяется самым внешним компонентом, который видит исходный запрос, а не местом исполнения матричного умножения.010101Эту же рамку я разбирал в канале по книге Стива Уилсона, который вёл проект OWASP Top 10 для LLM: модель — не отдельная функция, а компонент системы с пользователями, инструментами, журналами и правами. Цепочка поставки у неё шире обычной: веса, данные, шаблоны запросов и внешние провайдеры тоже нужно версионировать и проверять.Книжный куб · книга о безопасности LLM-приложений01Эту же рамку я разбирал в канале по книге Стива Уилсона, который вёл проект OWASP Top 10 для LLM: модель — не отдельная функция, а компонент системы с пользователями, инструментами, журналами и правами. Цепочка поставки у неё шире обычной: веса, данные, шаблоны запросов и внешние провайдеры тоже нужно версионировать и проверять.Книжный куб · книга о безопасности LLM-приложений

Минимум для весов можно оценить до скачивания. Для модели с P миллиардами параметров и b битами на параметр арифметический нижний предел равен P × b / 8 гигабайт. Но файл GGUF, GPTQ, AWQ или FP4 хранит шкалы, групповые коэффициенты и метаданные. В памяти также живут рабочие тензоры, графы, токенизатор, иногда кодировщик изображений/аудио и операционная система.

Квантование весов Q4/Q5 сокращает размер и трафик, но не является обещанием одинаковой скорости или качества. Q4_K_M в llama.cpp, AWQ W4A16, GPTQ Int4 и Blackwell MXFP4 — разные упаковки с разными ядрами. «Четыре бита» без названия артефакта и среды выполнения — неполная запись.

Второй большой член — KV-кеш. Его объём зависит от числа слоёв, KV-голов, длины контекста, размерности головы, точности кеша и числа параллельно обрабатываемых запросов: каждому диалогу или генерации нужен свой KV-кеш. Поэтому заявленные 128K, 256K или миллион токенов — возможность архитектуры, а не бесплатная настройка локального API.

Рабочий лист памяти вместо таблицы «B → ГБ»

Начинайте с фактического размера файла, а не с числа параметров. Если Q4-артефакт занимает 19 ГБ на диске, для расчёта памяти берите 19 ГБ, а не арифметический минимум 17,5 ГБ. Затем один раз запустите именно целевую среду и снимите резидентную память до и сразу после загрузки: некоторые движки распаковывают часть тензоров, резервируют рабочее пространство для ядер или держат копии служебных данных. Показатель после загрузки уже включает резидентные веса, поэтому повторно прибавлять размер файла к нему нельзя. Файл остаётся нижней оценкой и проверкой здравого смысла, а разность между загруженным и исходным процессом показывает цену формата и среды выполнения.

После этого добавляется KV-кеш для рабочего, а не рекламного контекста. У многоголового внимания (MHA) число KV-голов совпадает с числом голов внимания; у внимания с группировкой запросов (GQA) несколько голов запросов делят одну пару ключей и значений; у многозапросного внимания (MQA) такая пара одна на слой. Поэтому две модели одинакового размера и длины окна могут требовать радикально разный кеш. Точность KV тоже отдельна от точности весов: Q4-веса не означают автоматически четырёхбитный кеш. FP16, FP8 и Q8 KV меняют память, скорость и иногда качество по-разному, а поддержка конкретного режима зависит от движка.

При оценке памяти для чата ориентируйтесь не на максимальное контекстное окно модели — например, 256K токенов, — а на объём контекста, уже занятого к началу генерации, и его распределение по запросам. У типичного запроса это может быть 4K токенов инструкций и документов, на уровне P95 — 24K, а при редком анализе репозитория — 80K. Планировать всю систему по редкому максимуму дорого; обрезать всё до среднего опасно. Практичный вариант — гарантировать P95, для длинного хвоста включить отдельный профиль или меньшую параллельность и явно показывать пользователю стоимость большого контекста.

Параллельность почти линейно размножает состояние последовательностей, но не веса. Один процесс с четырьмя чатами не хранит четыре копии модели, зато держит четыре набора KV и служебных буферов. Изображения добавляют токены и память визуального кодировщика; спекулятивное декодирование добавляет черновую модель или её кеш; адаптеры LoRA — свои тензоры. На объединённой памяти из номинальных 128 ГБ нельзя обещать модели все 128: ОС, приложения и видеобуферы используют тот же пул. На дискретной карте системная RAM не превращается в VRAM без выгрузки через более медленную шину.

Проверка вместимости: объём памяти ≥ (пиковая резидентная память целевых процессов на P95-контексте и рабочей параллельности + не попавшие в замер мультимодальные/черновые компоненты) × 1,15–1,25 + запас ОС и приложений. Это та же формула, что выше, только M_пика теперь измерен: в него уже входят веса, накладные расходы среды и KV-кеш.

На 24-гигабайтной карте плотная 27B Q4 с арифметическим минимумом 13,5 ГБ выглядит свободно. Реальный артефакт, длинный KV, изображения и графы CUDA могут быстро превратить запас в дефицит. Обратная ошибка тоже встречается: официальный FP8-файл MoE-модели на 35B параметров занимает около 35–38 ГБ и рассчитан уже на 48 ГБ, хотя её Q4-минимум — 17,5 ГБ. Формат файла меняет класс железа сильнее, чем строка «35B» в названии.

Плотные модели и MoE отвечают на разные вопросы

В плотной модели почти все веса участвуют в каждом токене. В модели типа «смесь экспертов» (MoE) все эксперты обычно должны поместиться, но маршрутизатор активирует только часть. Поэтому 35B-A3B хранит около 35B параметров, а для каждого токена задействует около 3B. В эти 3B уже входит общий эксперт — отдельно прибавлять его не нужно. Это главный источник очень высокой скорости современных локальных MoE — и главная причина не путать число активных параметров с требованием к памяти.020202Разбирал в канале доклад про рынок ускорителей, и там эта же мысль приходит со стороны железа: у потребительской и серверной карты пиковая производительность сопоставима, а полоса памяти отличается втрое — 1 против 3 ТБ/с. Вместимость и темп действительно продаются отдельно.Книжный куб · куда катится железо для нейронок02Разбирал в канале доклад про рынок ускорителей, и там эта же мысль приходит со стороны железа: у потребительской и серверной карты пиковая производительность сопоставима, а полоса памяти отличается втрое — 1 против 3 ТБ/с. Вместимость и темп действительно продаются отдельно.Книжный куб · куда катится железо для нейронок

Рынок открытых весов нельзя описать одной лестницей «больше параметров — лучше». Мультимодальность, поддержка инструментов, механизм внимания, доля активных экспертов, доступные форматы квантизации и лицензия часто важнее небольшой разницы в числе параметров. Поэтому порядок выбора обратный привычному: сначала сценарий и порог качества, затем класс памяти и только потом конкретный файл весов. Классы с актуальными примерами собраны в срезе, в разделе 9; здесь — правила, по которым их отбирать.

Качество нельзя вывести из числа параметров

Сравнивайте модели на той форме ответа, которая попадёт в продукт. Для агента разработки недостаточно решить изолированную задачу по алгоритмам: модель должна найти нужный файл, удержать ограничения репозитория, сформировать применимый патч, корректно вызвать инструмент и остановиться после результата. Для RAG важны ссылки на переданные фрагменты и устойчивость к конфликтующим инструкциям в документе. Для русского помощника отдельно проверяются морфология, смешанный русско-английский код и локальные названия, а не только переведённый общий тест.

Оценивайте не только архитектуру модели, но и конкретную сборку весов. Результаты BF16 или официальной FP8-версии нельзя автоматически переносить на стороннюю Q4-сборку: способ квантизации и качество конвертации могут изменить поведение модели. Ошибка может концентрироваться не в среднем ответе, а в редких навыках: строгом JSON, длинном рассуждении, выборе инструмента или зрительном распознавании мелкого текста. Поэтому у строки evals должны быть полное имя файла, хеш, шаблон чата, параметры выбора токена и версия токенизатора. Если точный артефакт не воспроизводится, его показатель нельзя использовать для покупки железа.

Режим рассуждения тоже меняет экономику. Модель может отвечать точнее, но генерировать в несколько раз больше скрытых или видимых токенов; высокая скорость в токенах в секунду тогда не гарантирует меньшего времени до принятого результата. Под принятой задачей здесь понимается результат, прошедший заранее заданную проверку качества. Полезная метрика — число таких задач в единицу времени.

Если попытки занимают примерно одинаковое время, грубая оценка времени до принятого результата — средняя длительность одной попытки, делённая на долю попыток, прошедших приёмку.

В фоновом анализе батчами результат одной задачи можно ждать несколько минут, а неудачные попытки — автоматически повторять. В расширении для IDE даже качественная модель проигрывает, если первый полезный фрагмент появляется после того, как разработчик уже переключился на другую задачу.

Лицензия — такой же жёсткий фильтр, как память

«Открытые веса» — это не одна лицензия. У каждого выпуска свои условия: например, gpt-oss, Gemma 4 и многие модели Qwen и Mistral распространяются по Apache 2.0. Apache 2.0 обычно разрешает коммерческое использование. Но если вы распространяете модель или производный продукт, нужно приложить текст лицензии, сохранить обязательные уведомления об авторстве и отдельно проверить лицензии токенизатора, кода и других компонентов. У Llama, Nemotron, Kimi и MiniMax свои условия, ограничения использования или пороги, после которых появляются дополнительные обязательства. Название лицензии в реестре модели надо сверять с текстом конкретного выпуска: семейство может менять условия между версиями.

Отдельно проверяются данные и результат. Возможность скачать веса не даёт прав на голоса, изображения, документы или код, переданные модели; синтез речи требует согласия владельца голоса; локальный RAG не отменяет режим коммерческой тайны и сроки хранения. Для продукта зафиксируйте версию лицензии, страницу источника, дату скачивания и набор ограничений рядом с хешем весов. Это превращает будущую замену модели из расследования в обычное обновление зависимости.030303Хороший пример того, как это выглядит на конкретном релизе, я разбирал в канале: GigaChat 3 Ultra выложили под MIT — это MoE примерно на 702B параметров, из которых на шаге генерации активны около 36B, и совместимость со стандартным инструментарием заявлена отдельным пунктом. Лицензия, режим и совместимость объявляются вместе, а не выводятся из размера.Книжный куб · техрепорт GigaChat 3 Ultra03Хороший пример того, как это выглядит на конкретном релизе, я разбирал в канале: GigaChat 3 Ultra выложили под MIT — это MoE примерно на 702B параметров, из которых на шаге генерации активны около 36B, и совместимость со стандартным инструментарием заявлена отдельным пунктом. Лицензия, режим и совместимость объявляются вместе, а не выводятся из размера.Книжный куб · техрепорт GigaChat 3 Ultra

Длинное окно — возможность, а не рекомендация

Контекст в 262K или миллион токенов полезен для редких задач, но не заменяет поиск и структуру данных. С ростом окна увеличиваются время обработки входа, KV-кеш и вероятность того, что модель потеряет важное среди второстепенного. Показатель на тесте поиска иголки не равен качеству анализа длинного договора или репозитория. Сравните как минимум три режима: короткий запрос без RAG, отобранные фрагменты с источниками и полный длинный документ. Часто средний вариант даёт лучший ответ при меньшей задержке.

Для мультимодальной модели считаются не только текстовые токены. Разрешение, число кадров, предварительное уменьшение изображения и способ разбиения страницы меняют длину визуальной последовательности. Модель, помещающаяся на текстовом тесте, может выйти за память на пачке сканов. Перед тем как выбирать конфигурацию с 24 или 32 ГБ памяти, запустите модель на реальных PDF, скриншотах и фотографиях. В тест включите максимальное число файлов или страниц, которое система должна обработать за один запрос. Если основная задача — распознавание текста в документах, компактная специализированная модель может оказаться дешевле и стабильнее универсальной модели с 30 млрд параметров.

Не вся локальная AI-работа требует генератора общего назначения

Для RAG генератор — только один компонент. Модель эмбеддингов может работать на CPU или малой GPU, переранжировщик применяется к короткому top-K, а большая LLM получает уже отобранные фрагменты. Такой конвейер часто быстрее и точнее, чем попытка загрузить всю базу в заявленные 256K контекста. То же с речью, распознаванием документов и маршрутизацией команд: компактная специализированная модель на сотни миллионов или единицы миллиардов параметров нередко дешевле, быстрее и стабильнее универсальной. Конкретные модели по этим сценариям собраны в разделе 9.

Сначала проверьте объём памяти: в ней должны одновременно поместиться веса модели, KV-кеш и служебные данные. Когда система генерирует один ответ, скорость большой плотной модели часто упирается в чтение весов из памяти. Поэтому для локального чата важнее смотреть на пропускную способность памяти, а не только на рекламные TOPS — теоретическое число триллионов операций в секунду. Грубая верхняя оценка скорости проста: разделите реальную пропускную способность памяти на объём весов, который нужно прочитать для получения одного токена. Пиковая пропускная способность из спецификации даёт лишь идеальный потолок. На практике скорость ниже из-за работы механизма внимания и с контекстом, синхронизации и неполной загрузки устройства.

Дискретная GPU или объединённая память

• —Дискретная карта даёт самую высокую полосу и самые зрелые ядра, но её VRAM — жёсткая стена: всё, что не поместилось, уходит через PCIe и резко замедляет генерацию.
• —Карты того же объёма от другого производителя часто дешевле, но поддержку точной модели и кванта надо проверять на связке ОС–драйвер–среда выполнения.
• —Объединённая память — Apple silicon, AMD Ryzen AI Max, NVIDIA GB10 — адресует 64–128 ГБ и больше без выгрузки через PCIe, но её полоса в несколько раз ниже, чем у быстрой дискретной карты, и сильнее ограничивает большие плотные модели.
• —Профессиональная карта совмещает большой объём и высокую полосу, но цена и мощность переводят решение из персонального класса в инфраструктурный.

Вторая строка списка — не теоретическая оговорка. Спецификация обещает объём и полосу, но не то, что выбранная среда выполнения с первого раза заведётся на вашей версии ОС и драйвера. Время на сборку рабочего стека — такая же строка бюджета, как цена устройства.040404Здесь у меня личный опыт: я как раз взял мини-ПК на Ryzen AI Max+ 395 со 128 ГБ объединённой памяти, из которых под видеопамять можно отдать 96 ГБ, и рассказывал об этом в канале. Квантованные модели на 70–80B помещаются свободно, а вот ROCm на не-LTS Ubuntu у меня тогда не завёлся — это ровно та строка бюджета, которая не видна в спецификации.Книжный куб · мини-ПК на Ryzen AI Max+ 39504Здесь у меня личный опыт: я как раз взял мини-ПК на Ryzen AI Max+ 395 со 128 ГБ объединённой памяти, из которых под видеопамять можно отдать 96 ГБ, и рассказывал об этом в канале. Квантованные модели на 70–80B помещаются свободно, а вот ROCm на не-LTS Ubuntu у меня тогда не завёлся — это ровно та строка бюджета, которая не видна в спецификации.Книжный куб · мини-ПК на Ryzen AI Max+ 395

CPU, NPU и несколько GPU занимают свои ниши

CPU остаётся полезным не только как запасной путь. Маленькие модели, эмбеддинги, переранжирование и фоновая обработка батчами могут работать на уже купленной машине без отдельной карты. Скорость сильно зависит от каналов памяти и векторных инструкций: два компьютера с одинаковым объёмом RAM не эквивалентны. Для редкого запроса 5–10 ток/с могут быть экономичнее нулевой загрузки большой GPU. Кроме того, llama.cpp позволяет оставить часть слоёв на CPU, чтобы проверить модель крупнее VRAM, но такой режим следует считать экспериментом вместимости, а не обещанием интерактивной скорости.

NPU в ноутбуках и телефонах хорош для устойчивой малой модели, когда критичны батарея и отсутствие шума. Его рекламные TOPS нельзя напрямую сравнивать с полосой дискретной GPU: поддерживаемые операции, формат весов, максимальный размер тензора и инструменты компиляции ограничивают реальную модель. Готовой демонстрации поставщика недостаточно. Убедитесь, что его инструменты позволяют преобразовать и запустить модель нужной архитектуры, а затем обновлять её без выпуска новой версии приложения.

Несколько потребительских GPU складывают объём лишь после разбиения модели, а не превращаются в одну прозрачную память. У потребительских карт NVIDIA нет NVLink: слои или тензоры обмениваются через PCIe, синхронизация режет скорость, а корпус должен питать и охлаждать две карты по 300–600 Вт. Две более дешёвые 32 ГБ карты могут дать 64 ГБ вместимости, но не гарантируют темп одной профессиональной 96 ГБ карты. Перед такой покупкой нужен измеренный запуск точного движка с тем же способом разбиения.

Объединённая память выигрывает простотой: большой файл доступен CPU и GPU без ручного переноса, а система тише типичной многокарточной станции. Цена — общая полоса и конкуренция с приложениями. Дискретная VRAM даёт большую полосу и зрелые специализированные ядра, но создаёт жёсткую стену вместимости. Отсюда практическое правило: для 7–35B и интерактивной работы сначала смотрите на быструю дискретную карту; для 70–120B и одного пользователя — на большой единый пул; для общего сервера, где важны и вместимость, и параллельность, — на серверную GPU после отдельного расчёта.

Как читать цену железа

Цена в обзоре полезна, только если у неё есть пять атрибутов: дата, рынок, налоги, точная комплектация и состояние наличия. Цена «от» относится к базовой памяти, а не к той конфигурации, которая нужна модели. Цена видеокарты не включает компьютер, блок питания и охлаждение. Рекомендованная цена производителя и цена в магазине различаются, а предзаказ с депозитом — не то же самое, что устройство на складе. В срезе каждая цена помечена этими атрибутами; при переносе на другой рынок добавьте НДС, ввозные расходы и стоимость гарантии.

Вторичный рынок в таблицы среза не попадает по той же причине. Б/у RTX 3090 и 4090 с их 24 ГБ — главная реальная альтернатива новым картам по соотношению памяти к цене, но гарантии нет, история майнинга и разгона неизвестна, память и вентиляторы приходят с накопленным износом, а цены объявлений меняются от недели к неделе и от региона к региону — их нельзя зафиксировать датой. Из личного решения их исключать не стоит: к ним применима та же арифметика объёма и полосы, только к цене нужно мысленно прибавить риск ремонта и время на проверку карты.

Токены в секунду имеют смысл только рядом с моделью, квантом, средой выполнения, версией, длиной уже занятого контекста и режимом теста. llama-bench разделяет обработку входного контекста (англ. prompt processing, pp) и пошаговую генерацию текста (англ. text generation, tg); токенизация и выбор следующего токена в эти числа не входят. Скорость чата также включает очередь, построение контекста и потоковую выдачу.

Как читать чужие замеры

Опубликованный замер отвечает на узкий вопрос: какую скорость дали эта модель, этот файл весов и эта версия программы на этом устройстве при этой длине контекста. Сравнивать две строки можно, только если совпадают все условия, кроме исследуемого. Даже парная публикация одного автора с одинаковыми флагами перестаёт быть контролируемым A/B, если у систем разные CPU или драйверы. Заявления производителей полезны как ориентир сверху, но их стенд и настройки обычно не воспроизвести. Поэтому чужие числа задают масштаб ожиданий, а не рейтинг: «долларов за токен» по строкам из разных опытов не посчитать.

Несколько выводов при этом переносятся между поколениями железа. MoE-модель с несколькими миллиардами активных параметров на одной современной карте генерирует быстрее, чем человек читает. Большой пул объединённой памяти с умеренной полосой полезен прежде всего вместимостью: MoE на 100–120B параметров на нём остаётся быстрой, а плотная 70B — заметно медленнее. Наконец, контекст имеет цену: по мере заполнения контекста генерация замедляется, поэтому тест на пустом кеше завышает ожидания. Числа, на которых держатся эти выводы на дату среза, — в разделе 11.

Программы меняют результат без замены железа

Программное обеспечение способно поменять результат без замены GPU. Например, в отдельном опыте llama.cpp совместное включение объединения операций и конкурентных потоков CUDA поднимало tg128 Qwen3 30B-A3B на RTX 5090 примерно с 247 до 352 ток/с. Переменная среды называлась GGML_CUDA_GRAPH_OPT, но автор прямо уточнил: к CUDA Graphs механизм отношения не имел. Это не универсальное ускорение, а напоминание фиксировать версию кода, флаги и прогрев вместе с названием карты.050505Ту же дисциплину измерений я разбирал в канале по докладу Maxime Labonne из Liquid AI: считать номинальные операции недостаточно, выбирать модель по таблице лидеров — тем более. Мерить нужно обработку входа, генерацию, объём памяти, эффект кванта и холодный старт на своём железе и своей среде выполнения.Книжный куб · Liquid AI об обучении маленьких моделей05Ту же дисциплину измерений я разбирал в канале по докладу Maxime Labonne из Liquid AI: считать номинальные операции недостаточно, выбирать модель по таблице лидеров — тем более. Мерить нужно обработку входа, генерацию, объём памяти, эффект кванта и холодный старт на своём железе и своей среде выполнения.Книжный куб · Liquid AI об обучении маленьких моделей

Что измерять кроме среднего темпа

Обработка входа и генерация нагружают систему по-разному. Большой PP важен для первого прохода по документу, но пользователь ощущает задержку до первого токена (TTFT) — туда входят токенизация, очередь, подготовка кеша и первая итерация генерации. TG описывает установившийся поток одного ответа, но скрывает паузы между отдельными токенами. Для редактора кода записывайте P50 и P95 TTFT, средний интервал токена и самый длинный разрыв. Два запуска с одинаковыми ток/с могут ощущаться совершенно по-разному. Порогу приёмки нужен численный вид — например, «TTFT ниже 0,5 с для дополнения в IDE»; число здесь иллюстративное, ваш порог выводится из вашего сценария, а не из этой статьи.

Контекст должен быть уже занят до замера генерации. Тест на пустом кеше отвечает на вопрос о потолке железа, а не о многошаговом агенте после двадцати сообщений и результатов инструментов. Возьмите P50/P95 входной длины из реального трейса и измерьте несколько выходных длин. Короткий TG32 может не успеть показать нагрев и снижение частоты; длинный TG512 выявляет установившийся режим, но не представляет ответы, которые обычно заканчиваются через 80 токенов. Нужны оба среза.

Для общего сервера важна производительность при конкурентной генерации, а не только скорость одного ответа. Отправьте одновременно 1, 2, 4 и 8 запросов и для каждого уровня измерьте суммарную скорость генерации, P95 задержки и долю запросов, уложившихся в SLO. Непрерывный батчинг увеличивает суммарное число токенов в секунду, но может ухудшить интервал между токенами для одного пользователя. Также проверьте отмену запросов. Когда агент прекращает генерацию ставшего ненужным ответа, система должна быстро освободить занятые запросом ресурсы: KV-кеш и слот планировщика. Иначе тест, в котором все ответы генерируются до конца, завысит число запросов, одновременно обслуживаемых сервером.

Наконец, измеряйте принятую работу, а не только вычисление. Для кода это применившийся патч и прошедшие тесты; для извлечения — валидная схема и правильные поля; для RAG — ответ с подтверждаемой ссылкой. Деление числа принятых задач на энергию и время даёт показатель, который можно сравнить с облаком. Сырая скорость модели, требующей вдвое больше повторов, почти всегда создаёт ложную экономию.060606Этот принцип подробнее разобран в лонгриде «Экономика AI в разработке: от токенов к принятой работе». Стоимость принятой задачи включает не только вызов модели, но и инструменты, повторы, проверку человеком, доработку и ожидаемые потери от ошибок.06Этот принцип подробнее разобран в лонгриде «Экономика AI в разработке: от токенов к принятой работе». Стоимость принятой задачи включает не только вызов модели, но и инструменты, повторы, проверку человеком, доработку и ожидаемые потери от ошибок.

Разные программы начинают поддерживать новую модель не одновременно и часто лишь частично. Например, программа уже распознаёт токенизатор, но обрабатывает изображения на CPU вместо GPU; загружает FP8-веса, но не умеет быстро выполнять вычисления с ними на выбранной GPU; запускает модель в llama.cpp, тогда как текущая версия vLLM её ещё не поддерживает. Перед покупкой проверяйте конкретную модель, формат весов и версию среды выполнения. Поддержка похожей модели ничего не гарантирует. Какие версии сред выполнения актуальны на дату среза и что в них изменилось, собрано в разделе 11.

Для одного пользователя разумная базовая линия — llama.cpp/MLX через LM Studio, Ollama или прямой CLI: он быстро выявляет, помещается ли точный GGUF и какой темп генерации даёт батч 1. Для общего Linux API переходите к сервингу модели через vLLM/SGLang/TensorRT-LLM только после проверки поддержки архитектуры: там уже важны непрерывный батчинг, аутентификация, квоты, кеш префиксов и P95, а не один локальный чат.

• •Зафиксировать версию модели, токенизатор, шаблон чата и хеш весового файла.
• •Зафиксировать ОС, прошивку, драйвер, версию/контейнер среды выполнения и все флаги.
• •Прогнать холодный старт, затем устойчивый нагрев; записать пиковые RAM/VRAM и мощность из розетки.
• •Отдельно проверить текст, изображения, JSON, вызовы инструментов, длинный контекст и отмену генерации.
• •Обновлять один слой за раз и иметь откат: «новее» не гарантирует поддержку старого кванта.

Воспроизводимая сборка важнее самого удобного интерфейса

Графическая оболочка удобна для первого опыта, но производственная конфигурация должна пережить перезапуск и обновление. Сохраните команду запуска или файл настроек, источник и хеш модели, версию движка, драйвера и шаблона чата. Проверьте восстановление после перезагрузки без ручного клика и поведение при повреждённом скачивании. Если продукт зависит от единственного файла из пользовательского реестра, сохраните проверенную копию в своём контуре с соблюдением лицензии.

Совместимый с OpenAI API интерфейс упрощает замену сервера, но не делает семантику одинаковой. Различаются названия моделей, подсчёт токенов, формат вызовов инструментов, поддержка изображений, потоковые события и причины остановки. Перед переключением клиента запишите контрактные тесты на обычный ответ, JSON, отмену, тайм-аут и переполнение контекста. Тогда переход между Ollama, LM Studio, llama.cpp server и vLLM не превращается в ручную проверку всего приложения.

Для офлайн-контура заранее решите, как попадут обновления безопасности и новые веса. Полная изоляция без процесса доставки быстро оставляет уязвимый драйвер и устаревшую модель. Практичнее подписанный пакет, проверка хеша, тестовый стенд и контролируемое окно обновления. Локальность отвечает на вопрос, кто контролирует изменение, а не требует никогда ничего не обновлять.070707Практическую сторону этого выбора я разбирал в канале по большой статье о локальном запуске: там на пальцах показано, почему Ollama удобнее, но медленнее llama.cpp, как раскладка тензоров и режимы вроде cmoe меняют результат на MoE-моделях и почему дефолтный квант из оболочки редко оказывается лучшим.Книжный куб · как выжать больше из локальных LLM07Практическую сторону этого выбора я разбирал в канале по большой статье о локальном запуске: там на пальцах показано, почему Ollama удобнее, но медленнее llama.cpp, как раскладка тензоров и режимы вроде cmoe меняют результат на MoE-моделях и почему дефолтный квант из оболочки редко оказывается лучшим.Книжный куб · как выжать больше из локальных LLM

При локальном запуске нет платы API за каждый токен, но возникают другие расходы: покупка оборудования, электричество, хранение моделей, инженерное сопровождение, а также потери из-за простоя и возможного снижения качества. Совокупная стоимость владения должна включать компьютер целиком: отдельная видеокарта требует материнскую плату, CPU, RAM, быстрый SSD, блок питания и охлаждение. У готовых систем вроде Mac или DGX Spark цена уже системная, а наборы для самостоятельной сборки иногда продаются без накопителя и ОС.

Энергию лучше считать по измеренной средней мощности на рабочем профиле, а не по TDP. Для примера, устройство со средними 250 Вт при 8 часах в день потребляет около 730 кВт⋅ч в год; стоимость зависит от местного тарифа. Постоянно включённый общий сервер — уже около 2 190 кВт⋅ч без охлаждения. Но при редких запросах главным расходом остаётся амортизация, а не электричество.080808Вторую половину этого сравнения — цену альтернативы — я разбирал в канале по материалу SemiAnalysis: годовой контракт на H100 подорожал примерно на 40%, с 1,70 до 2,35 доллара за GPU-час за несколько месяцев. Облачная строка в вашей формуле окупаемости тоже не константа.Книжный куб · индекс цен аренды GPU08Вторую половину этого сравнения — цену альтернативы — я разбирал в канале по материалу SemiAnalysis: годовой контракт на H100 подорожал примерно на 40%, с 1,70 до 2,35 доллара за GPU-час за несколько месяцев. Облачная строка в вашей формуле окупаемости тоже не константа.Книжный куб · индекс цен аренды GPU

Три расчёта вместо одной точки окупаемости

Для редкой личной нагрузки считайте устройство по полной цене: большая часть его жизни проходит в простое, а экономия API мала. Если компьютер всё равно покупается для разработки, локальному AI можно приписать лишь добавочную стоимость памяти или GPU — но это надо честно отметить как другой сценарий. Для общего сервера добавляются резерв, администрирование, мониторинг и стоимость недоступности. Смешивать эти три базы в одной строке «окупится за N месяцев» нельзя.

Срок амортизации должен соответствовать риску стека. Корпус и блок питания могут служить пять лет, GPU — три, а полезный формат модели смениться за несколько месяцев. Посчитайте оптимистичную, рабочую и низкую загрузку, затем отдельно сценарий, где через год требуется больше памяти. Остаточная стоимость потребительской карты может уменьшить риск; распаянная память и специализированный узел хуже модернизируются, зато продаются как готовая система.

Стоимость облака тоже не постоянна: кеширование входа, батч-режим и более дешёвая модель меняют знаменатель. С другой стороны, локальная система может экономить не токены, а время согласования данных или стоимость инцидента приватности. Финальный расчёт должен показывать денежные допущения отдельно от нефинансовых требований. Если приватность обязательна, вопрос окупаемости выбирает между локальными вариантами, а не отменяет само ограничение.

Надёжный выбор начинается не с обзора железа, а с нижней границы приемлемого качества для конкретного сценария. Сначала зафиксируйте этот порог и проверьте на нём модели; затем выберите точный файл весов, рассчитайте необходимый объём памяти, убедитесь в совместимости программного стека и только после этого подбирайте устройство. Модель, которая не достигает заданного порога качества, исключают. Если модель проходит проверку, но не помещается в память, выбирают другой формат весов или устройство с большим объёмом памяти. Если она помещается, но отвечает слишком медленно, сначала проверяют пропускную способность памяти и поддержку необходимых GPU-ядер — и лишь затем рассматривают другую видеокарту.090909Про то, как легко подменить evals удобной метрикой, я разбирал в канале доклад Sonar: модель проходит тесты и всё равно оставляет код, который команда потом разгребает. Вывод переносится и сюда: свой набор задач и независимая проверка результата важнее любой таблицы с токенами в секунду.Книжный куб · почему pass rate уже мало09Про то, как легко подменить evals удобной метрикой, я разбирал в канале доклад Sonar: модель проходит тесты и всё равно оставляет код, который команда потом разгребает. Вывод переносится и сюда: свой набор задач и независимая проверка результата важнее любой таблицы с токенами в секунду.Книжный куб · почему pass rate уже мало

Минимальный протокол перед заказом

В итоговой таблице одна строка — одна точная конфигурация: модель и файл весов, программа и версия, устройство, доля принятых задач, время до первого ответа, P95 полного цикла, пиковая память и цена. Так видно, какой кандидат прошёл ваши пороги и сколько он стоит.

• •Собрать 50–200 реальных запросов с P50/P95 длиной, форматами и правильными ответами.
• •Выбрать две модели разных размеров и по два точных артефакта, а не десять названий семейств.
• •Арендовать или найти близкое железо на день; зафиксировать версии и прогнать одинаковый трейс.
• •Записать качество, TTFT, PP, TG, P95, пиковую память, мощность и отказы инструментов.
• •Посчитать полный чек устройства и три сценария загрузки: редкий, рабочий и общий сервер.
• •Покупать конфигурацию с запасом для контекста, но не ради модели, которую вы не собираетесь использовать.

Условия остановки защищают бюджет

До теста запишите, при каком результате покупка отменяется: качество ниже порога, P95 выше SLO, память без 15-процентного запаса, неподходящая лицензия или отсутствие воспроизводимой сборки. Иначе после дня настройки легко принять сам факт запуска за успех. Если проверка показывает, что ни одна локальная модель не достигает заданного порога качества на целевых задачах, рациональный выбор — гибридная схема или облачный сервис, если передача этих данных наружу разрешена. Если она запрещена, пересмотрите задачу, порог качества или локальную конфигурацию. Оптимизация модели, которая не решает целевую задачу с необходимым качеством, сама по себе проблему не исправит.

Пять ловушек, которые выглядят как быстрый выбор

Первая — покупать по максимальному размеру модели. Больший файл может отвечать медленнее, иметь неподходящую лицензию и хуже соблюдать формат, тогда как специализированная 12–24B закроет задачу. Вторая — принимать расчётный размер Q4-весов за весь объём памяти, необходимый во время инференса. Помимо весов память занимают служебные данные формата, KV-кеш, рабочие буферы и вычислительные графы, кодировщик и ОС. Поэтому модель, которая по простой арифметике «должна поместиться», на практике может не войти целиком в память ускорителя и начать использовать более медленную системную память.

Третья — напрямую сравнивать значения токенов в секунду из разных обзоров и таблиц. Если тесты выполнены на разных моделях, вариантах квантования, длинах контекста, размерах батча или версиях движка, результаты несопоставимы. Чужие измерения можно использовать как грубый ориентир, но окончательное сравнение требует повторить один и тот же набор запросов на всех кандидатах. Четвёртая — покупать две карты только ради суммы VRAM. Без измерения разбиения, PCIe и поддержки движка это дорогой способ получить больше памяти при меньшей отзывчивости.

Пятая — строить выбор вокруг обещанного будущего. Анонс памяти, неподтверждённая поддержка новой архитектуры или ожидаемый квант не являются рабочей конфигурацией на дату выбора. В короткий список попадает только то, для чего одновременно существуют точные веса, доступное железо, совместимая среда и повторяемый тест. Будущие варианты полезно держать в наблюдении с датой следующей проверки, но нельзя закладывать в текущий SLO и бюджет.

Все пять ловушек проверяются одним протоколом выше: сохраняйте архив запросов, скрипт запуска и таблицу результатов, меняя по одному параметру. Повторяйте проверку после существенного обновления модели или программы и храните предыдущий результат. Новая версия должна пройти те же пороги качества, P95 и памяти на том же архиве; рост средней скорости сам по себе не повод для обновления.

Практический путь по умолчанию выглядит скучно и почти не зависит от года: существующая машина и небольшая модель — чтобы проверить сам продукт; затем одна карта или пул памяти на 24–32 ГБ и модель, которая помещается в них с запасом, — для личного агента; 96–128 ГБ — только после доказанного выигрыша более крупного класса. Несколько GPU и модели на сотни миллиардов параметров — исследовательская ветка, а не обязательный следующий шаг. Какие модели и устройства стоят за этими ступенями сейчас, показывает срез ниже.

Классы ниже отобраны по правилам из раздела 3: сценарий, класс памяти, точный файл весов, лицензия. Это короткий список, а не рейтинг качества: модели в строке объединены вместимостью и формой работы, а не результатами тестов. Каждая модель сверена с карточкой на Hugging Face на 31 октября 2026 года: число параметров, лицензия, размер официальных файлов весов.

Что изменилось с августа

• —Класс 27–31B обновился сильнее остальных. Qwen3.8 27B (Apache 2.0, текст, изображения и видео) сменила Qwen3.6 27B; Meta выпустила плотную Muse Glimmer 30B под Apache 2.0 с официальным GGUF Q4_K_M на 16,8 ГБ и прямой рекомендацией 24 ГБ; IBM выпустила Granite 4.2 3B/8B/30B с режимами рассуждения.
• —NVIDIA выпустила линейку Nemotron 3.5 под лицензией OpenMDW-1.1. Lightning 30B-A3B с окном 1M продолжает класс Nemotron 3 Nano, Super VL 120B-A12B в NVFP4 занимает 75 ГБ и, по карточке, помещается на один DGX Spark.
• —Liquid AI выпустила LFM3 на 1,7B параметров (по оценке Liquid, около 1 ГБ в четырёх битах) и MoE LFM2.5-24B-A2B. Их лицензия запрещает коммерческое использование компаниям с выручкой от $10 млн в год — это касается и прежней LFM2.5.
• —Новых малых моделей Qwen, gpt-oss, Ministral и Devstral за квартал не вышло: Qwen3.5 2B/4B/9B, Qwen3.6-35B-A3B, gpt-oss-20b/120b, Ministral 3 и Devstral Small 2 остаются актуальными. Llama 4 Scout не обновлялась и выпала из списка.
• —Верхний класс ушёл ещё дальше от «локального»: DeepSeek V4.1 Flash вырос до 552B и 510-гигабайтного файла, Mistral Large 4 — около 1T параметров, Kimi K3 — 2,8T. GigaChat 3.5 Ultra (432B-A28B, MIT) сменил GigaChat 3 Ultra, а Яндекс впервые выложил открытые веса — базовую модель AliceAI-Foundation-80B-A3B без инструктивного дообучения.

Что выглядит особенно практично

Для существующего ноутбука первый разумный опыт — 3–12B: Gemma 4 E4B/12B, Qwen3.5 4B/9B, Ministral 3 или Granite 4.2 8B. Для новой системы с 24–32 ГБ центр тяжести — gpt-oss-20b, Qwen3.6-35B-A3B, Gemma 4 26B-A4B, Nemotron 3.5 Lightning и плотные Qwen3.8 27B, Gemma 4 31B или Muse Glimmer 30B в Q4. Они уже пригодны для кода, документов и вызовов инструментов, но ещё не требуют распределённого размещения.

Пример того, как формат файла меняет класс железа: у Qwen3.6-35B-A3B минимум Q4 — 17,5 ГБ, но официальный FP8-файл весов занимает около 37,5 ГБ. Он рассчитан уже на 48 ГБ, а Q4 сообщества в 24 ГБ требует короткого контекста и проверки качества. Обратный пример — Nemotron 3.5 Bolt 74B-A9B: NVIDIA выпустила официальную упаковку на 24 ГБ, где эксперты сжаты примерно до двух бит. Такая сборка помещается в одну карту, но её качество нужно проверять отдельно от полной версии.

Классы 100–125B и 284B+

Класс 100–125B реален на одном устройстве с 80–128 ГБ благодаря MoE и обученным FP4-форматам. OpenAI прямо указывает 16 ГБ для gpt-oss-20b и 80 ГБ для gpt-oss-120b, а NVIDIA — один DGX Spark для Nemotron 3.5 Super VL. Это рекомендации вместимости, не обещание числа токенов в секунду: DGX Spark, Mac Studio и RTX PRO 6000 читают память с очень разной скоростью. Название класса тоже обманчиво: Qwen3.8-Flash-Next активирует 6B из 125B, но с n-граммными эмбеддингами хранит 180B, и её официальный FP8 весит 185,5 ГБ.

Модели от 284B остаются «локальными» только в смысле собственного кластера. DeepSeek V4 Flash публикуется файлом около 167 ГБ, его преемник V4.1 Flash — около 510 ГБ, Kimi K3 — около 1,5 ТБ. Два маленьких узла могут технически запустить большую квантованную модель, но сеть и частичный перенос весов часто дают ответ медленнее хорошей 20–35B модели на одной карте.

Лицензии на дату среза

Большинство моделей из таблицы — Apache 2.0 или MIT: gpt-oss, Gemma 4, Qwen3.5/3.6/3.8 27B, Granite 4.2, Muse Glimmer 30B, Ministral 3, Devstral Small 2, DeepSeek, GLM и GigaChat. Свои лицензии у Nemotron 3.5 (OpenMDW-1.1), у Qwen3.8-Flash-Next (Qwen Community License 1.0 с отдельной лицензией для модели как сервиса), у LFM (порог выручки $10 млн), у Mistral Large 4 (ограничение на модель как сервис) и у Kimi K3. Название лицензии в этом абзаце — ориентир на дату среза; перед использованием сверяйте текст лицензии конкретного выпуска.

Специализированные модели по сценариям

В срезе — новое железо с публичной ценой на 31 октября 2026 года на рынке США, до налогов. Вторичный рынок исключён по причинам из раздела 4. Телефоны и ноутбуки с NPU не включены: результат слишком зависит от устройства и программ. Если такое устройство уже есть, начните с него — возможно, новое железо не понадобится. Точки на схеме 8 — характеристики, а не скорость на одинаковой задаче.

Что изменилось с августа

• —Apple 25 августа обновила настольные Mac. Mac mini теперь на M6 (до 32 ГБ) и M5 Pro (до 64 ГБ, 307 ГБ/с), Mac Studio — на M5 Max (до 128 ГБ, 614 ГБ/с) и M5 Ultra (96/256/512 ГБ, 1,2 ТБ/с). Августовская странность, когда большие конфигурации Mac Studio нельзя было заказать, исчезла: вариант на 512 ГБ снова доступен с 28 октября за $22 299.
• —Ryzen AI Max+ PRO 495 перешёл из списка наблюдения в таблицу: Framework Desktop со 192 ГБ открыт для предзаказа за $6 799, поставки — с ноября. Вместимость выросла в полтора раза, а полоса — только с 256 до 273 ГБ/с.
• —NVIDIA подняла цены: DGX Spark Founders Edition — с $4 699 до $6 950 и распродан, RTX PRO 6000 — с $13 250 до $16 000. С 23 октября партнёры продают DGX Spark на 64 ГБ от $4 999 — дешевле, но класс 100–125B в него уже не помещается.
• —RTX 50 Super так и не вышли: по сообщениям прессы, их отложили из-за дефицита GDDR7. TrendForce в конце сентября прогнозировал рост контрактных цен на DRAM на 10–15% в четвёртом квартале, и это видно в рознице: минимальная цена RTX 5060 Ti в США — $766 при рекомендованных $429.

Практический вывод из этих изменений: в конце 2026 года объединённая память стала единственным массовым способом получить больше 96 ГБ на одном устройстве без серверного бюджета, но её цена растёт вместе с ценой памяти. Если устройство нужно под конкретную модель класса 100–125B, сравнивайте Mac Studio M5 Max на 128 ГБ, Ryzen AI Max+ на 128–192 ГБ и DGX Spark на 128 ГБ по полной цене системы и по своему трейсу, а не по строке спецификации.

Таблица фиксирует версии, проверенные на 31 октября 2026 года, и главное, что изменилось в каждой среде с августа. Номер версии здесь — не рекомендация обновиться, а пример того, что нужно записывать рядом с каждым замером: через месяц та же модель на том же железе может работать заметно быстрее или перестать загружаться.

Главное изменение квартала касается компьютеров Mac. Ollama с версии 0.40 по умолчанию запускает поддерживаемые модели на Mac через MLX, а не через llama.cpp, и LM Studio добавила для Mac собственный движок. После обновления та же команда может работать на другой среде, поэтому перед сравнением «до» и «после» проверьте, какой движок фактически загрузил модель.

На стороне AMD ROCm перешёл на десятую версию и официально поддерживает Ryzen AI Max+ 395 и R9700, но в опубликованных замерах Vulkan в llama.cpp по-прежнему не уступает ему на генерации.

Замеры ниже отобраны по правилу из раздела 5: в публикации названы модель, квант, версия среды и длина контекста. Новых парных замеров RTX 5090 и R9700 после августа не появилось, поэтому эта пара осталась прежней. Добавлены открытые таблицы для Mac Studio M5 Ultra и Ryzen AI Max+ 395 с несколькими длинами контекста. Убраны строки, которые не удалось перепроверить: результат Framework для gpt-oss-120b и результат Intel для Arc Pro B70.

Что всё-таки можно вывести

• —MoE на 20–35B параметров на одной современной карте или на Mac Studio M5 Ultra генерирует в несколько раз быстрее, чем человек читает: 127–210 ток/с на коротком контексте.
• —Длинный контекст стоит дорого везде. На M5 Ultra генерация gpt-oss-20b падает с 210 до 85 ток/с на 128K, на DGX Spark gpt-oss-120b — с 59 до 43 ток/с на 32K. Считайте скорость на той длине, которая встречается в вашем трейсе.
• —Среда выполнения может дать больше, чем следующая покупка. На M5 Ultra MLX обрабатывает 32K входа в 1,7 раза быстрее llama.cpp и сохраняет 107 ток/с против 85 на 128K. На DGX Spark пользователь форума получил 61 ток/с в vLLM против 42 в Ollama на той же модели.
• —128 ГБ при 256–273 ГБ/с полезны прежде всего вместимостью: gpt-oss-120b на них быстр благодаря 5,1B активных параметров, а плотная модель на 70B на том же устройстве будет в несколько раз медленнее.

Сценарий задаёт минимально полезное качество и форму нагрузки. Голосовой роутер выигрывает от 3B на устройстве, даже если 27B отвечает умнее. Агент разработчика нуждается в устойчивом диффе/JSON и низком интервале токена. Общий RAG-сервер требует параллельности и доступа, хотя демонстрация с батчем 1 выглядит так же. Шорт-листы моделей в строках собраны по поддержке инструментов, лицензии и распространённости в сообществе, а не по измеренному качеству: качество подтверждают только ваши evals.

1. Уже есть компьютер — начните с нулевого CapEx

Для приватного поиска и черновиков 8–12B Q4 на 16–32 ГБ часто закрывает задачу. Сначала измерьте его на существующем устройстве. Покупка 32 ГБ GPU ради модели, которая не проходит ваши evals, лишь делает неправильный ответ быстрее.

2. Рабочее место разработчика — 24–48 ГБ

Если главный сценарий — код и агент, выбирайте между скоростью дискретной GPU и удобством единой памяти. RTX 5090 — очень высокая интерактивная скорость и зрелый CUDA-путь; R9700/B70 — более дешёвые 32 ГБ при дополнительной работе со стеком; Mac mini M5 Pro на 48–64 ГБ или Mac Studio M5 Max — тихая машина, на которой код, IDE и модель делят память. Решает не HumanEval, а поведение на ваших репозиториях: формат патча и цикл с инструментами.

3. Большая персональная модель — 96–192 ГБ

Framework Desktop на AMD Ryzen AI Max+ 395 со 128 ГБ памяти за $3 449 остаётся самым дешёвым в таблице новым путём к gpt-oss-120b, но его 256 ГБ/с лучше подходят MoE, чем плотной 70B. Версия на PRO 495 со 192 ГБ почти вдвое дороже и добавляет вместимость, а не скорость. DGX Spark на 128 ГБ подорожал до $6 950 и даёт CUDA, 4 ТБ SSD и ConnectX-7. Mac Studio M5 Max на 128 ГБ предлагает более высокую полосу и MLX примерно за $5 100.

4. Небольшая команда — это уже сервис

Один пользователь может терпеть холодную загрузку и занимать всю память. Пять пользователей создают очередь, несколько KV-кешей и требования к аутентификации. Здесь полезно вернуться к отдельному разбору инференса LLM как распределённой системы — непрерывный батчинг может дать больше, чем переход на следующую модель GPU.

5. Голос, документы и периферийное устройство

Для диктовки, команд и первичного разбора документов выгоден составной конвейер: маленькая ASR или OCR-модель, маршрутизатор 2–4B и более крупный генератор только для сложных запросов. Он снижает среднюю задержку и позволяет оставить чувствительный сырой звук или изображение на устройстве. Приёмка включает сквозную задержку от сигнала до действия, качество на шуме и акцентах, потребление батареи, ошибочные срабатывания и работу без сети. Один показатель генератора эту систему не описывает.

6. Исследовательская лаборатория — покупается гибкость

Несколько GPU или узлов оправданы, когда целью является сравнение форматов, разработка ядер, исследование больших моделей или воспроизводимость собственного кластера. Здесь ценность дают ECC, быстрая сеть, достаточный SSD, удалённое управление и возможность закрепить версии. Если конечная задача — один личный чат, та же конфигурация почти наверняка проиграет одной быстрой карте или облаку по цене, сложности и времени инженера. Лабораторию оценивают по числу воспроизводимых экспериментов, а не по максимальному числу параметров, которое однажды удалось загрузить.

Вариант по умолчанию на 31 октября 2026 года выглядит скучно: существующая машина и 8–14B для проверки продукта; затем 24–32 ГБ и MoE на 20–35B или плотная 27–31B для личного агента; 96–192 ГБ только после доказанного выигрыша класса 100–125B. Несколько GPU, Mac Studio на 512 ГБ и модели 284B+ — исследовательская ветка, а не обязательный следующий шаг.