
Маршрутизатор LLM: тайм-аут — не отказ
Слепой повтор после тайм-аута платит дважды, а каскад моделей экономит только выше расчётного порога
Содержание слайдов
1. Маршрутизатор LLM: тайм-аут — не отказ
Слепой повтор после тайм-аута платит дважды, а каскад моделей экономит только выше расчётного порога
2. Повтор после тайм-аута платит дважды
Ответа нет, а провайдер выставит счёт за обе попытки
3. Деньги теряются в трёх местах
Неизвестный исход, резерв бюджета, каскад моделей
4. Та же неизвестность, та же лестница
«Агент после сбоя» и «Уровень усилия» глазами шлюза
5. Шлюз решает о деньгах до вызова
Политика, кеш, токены, маршрут и резерв — раньше провайдера
6. У вызова три исхода, а не два
Ответ, подтверждённый отказ и неизвестность ведут к разным действиям
7. Тайм-аут провайдера — не 504
Доменный исход — HTTP 200 и поле status; коды — для ошибок протокола
8. Неизвестный исход держит резерв
Четыре состояния записи; просрочка сверки не освобождает деньги
9. Атомарность обеспечивает база, а не код
Проверка лимита и запись резерва — один неделимый шаг
10. Двухфазный резерв ломается на списании
LiteLLM, Cloudflare, Kong и OpenRouter в их собственной документации
11. Каскад теряет деньги на пропущенной ошибке
Четыре исхода: дешёвая модель ответила, верификатор принял или эскалировал
12. Точность — следствие, а не параметр
Один верификатор, r = 0,9 и f = 0,1, при трёх уровнях дешёвой модели
13. Сильной модели достаются самые трудные задачи
θ_c = 0,7, θ_s = 0,9: шанс спасти эскалированную задачу — 0,90 или 0,667
14. Каскад окупается только выше порога цен
θ_c = 0,7, θ_s = 0,9, r = 0,9, f = 0,1, ρ = 1: порог k при разной цене верификатора
15. −46% за запрос, +1% за решённую задачу
θ_c = 0,40, θ_s = 0,95, r = 0,20, f = 0,05, k = 2,5, v = 0, ρ = 1
16. Цену задачи сравнивают при равном качестве
Фиксируем долю решённых и ищем, кто достигает её дешевле
17. Журнала бюджета пока нет
Из 13 требований: 1 выполнено, 2 частично, 10 не начаты
18. Считаем деньги по исходу, не по ответу
Неизвестность держит резерв, база держит инвариант, каскад держит порог