К основному содержимому
Research Insights Made Simple
Разбор исследованийResearch Insights Made Simple

Свой инференс или API: где точка безубыточности

Сколько токенов в секунду должен давать ваш GPU, чтобы обогнать API?

/ RIMS · Свой инференс или API

Содержание слайдов

  1. 1. Свой инференс или API: где точка безубыточности

    Сколько токенов в секунду должен давать ваш GPU, чтобы обогнать API?

  2. 2. Своё окупает загрузка, а не объём

    Сколько токенов в секунду нужно паре H100, чтобы догнать API

  3. 3. От цены токена к решению

    Кластерная серия дала механизмы, здесь — деньги

  4. 4. Цены API расходятся в 50 раз

    Доллары за миллион токенов: вход, выход и смесь 3:1

  5. 5. Час H100 стоит от 1,80 до 12,29 $

    Цена по требованию за один GPU, ноябрь 2026

  6. 6. Цена токена — час ÷ работа

    Четыре множителя, и только один из них в счёте за GPU

  7. 7. Меньше загрузка — выше планка

    Нужные токены в секунду для пары H100 по 3,95 $ за час

  8. 8. Ёмкость под пик простаивает ночью

    Пример «Орбиты» и урок лаборатории сервинга

  9. 9. GPU — только первая строка счёта

    Что добавляется к часу GPU и что остаётся у API

  10. 10. Считайте цену принятой задачи

    Токены дешевеют в 20 раз, проверка — нет

  11. 11. Кеш и батч есть и у API

    Скидки, которые сдвигают точку безубыточности

  12. 12. Сотни дообучений по цене одной базы

    Одна A100 80 ГБ · Llama-7B · синтетический трейс

  13. 13. Локальная станция окупается не токенами

    Ryzen AI Max+ 395, 128 ГБ, за 3 999 $ против цены API

  14. 14. Четыре вопроса до покупки GPU

    Отвечаем по порядку; первый «да» решает

  15. 15. Расчёт переносит метод, а не числа

    Цены на дату, допущения ведущего и то, что мы не мерили

  16. 16. Сначала замер, потом покупка

    Три вывода и один эксперимент на сутки