
Свой инференс или API: где точка безубыточности
Сколько токенов в секунду должен давать ваш GPU, чтобы обогнать API?
Содержание слайдов
1. Свой инференс или API: где точка безубыточности
Сколько токенов в секунду должен давать ваш GPU, чтобы обогнать API?
2. Своё окупает загрузка, а не объём
Сколько токенов в секунду нужно паре H100, чтобы догнать API
3. От цены токена к решению
Кластерная серия дала механизмы, здесь — деньги
4. Цены API расходятся в 50 раз
Доллары за миллион токенов: вход, выход и смесь 3:1
5. Час H100 стоит от 1,80 до 12,29 $
Цена по требованию за один GPU, ноябрь 2026
6. Цена токена — час ÷ работа
Четыре множителя, и только один из них в счёте за GPU
7. Меньше загрузка — выше планка
Нужные токены в секунду для пары H100 по 3,95 $ за час
8. Ёмкость под пик простаивает ночью
Пример «Орбиты» и урок лаборатории сервинга
9. GPU — только первая строка счёта
Что добавляется к часу GPU и что остаётся у API
10. Считайте цену принятой задачи
Токены дешевеют в 20 раз, проверка — нет
11. Кеш и батч есть и у API
Скидки, которые сдвигают точку безубыточности
12. Сотни дообучений по цене одной базы
Одна A100 80 ГБ · Llama-7B · синтетический трейс
13. Локальная станция окупается не токенами
Ryzen AI Max+ 395, 128 ГБ, за 3 999 $ против цены API
14. Четыре вопроса до покупки GPU
Отвечаем по порядку; первый «да» решает
15. Расчёт переносит метод, а не числа
Цены на дату, допущения ведущего и то, что мы не мерили
16. Сначала замер, потом покупка
Три вывода и один эксперимент на сутки