К основному содержимому
Research Insights Made Simple
Разбор лабораторииResearch Insights Made Simple

Маршрутизатор LLM: тайм-аут — не отказ

Слепой повтор после тайм-аута платит дважды, а каскад моделей экономит только выше расчётного порога

/ Research Insights Made Simple · Маршрутизатор LLM

Содержание слайдов

  1. 1. Маршрутизатор LLM: тайм-аут — не отказ

    Слепой повтор после тайм-аута платит дважды, а каскад моделей экономит только выше расчётного порога

  2. 2. Повтор после тайм-аута платит дважды

    Ответа нет, а провайдер выставит счёт за обе попытки

  3. 3. Деньги теряются в трёх местах

    Неизвестный исход, резерв бюджета, каскад моделей

  4. 4. Та же неизвестность, та же лестница

    «Агент после сбоя» и «Уровень усилия» глазами шлюза

  5. 5. Шлюз решает о деньгах до вызова

    Политика, кеш, токены, маршрут и резерв — раньше провайдера

  6. 6. У вызова три исхода, а не два

    Ответ, подтверждённый отказ и неизвестность ведут к разным действиям

  7. 7. Тайм-аут провайдера — не 504

    Доменный исход — HTTP 200 и поле status; коды — для ошибок протокола

  8. 8. Неизвестный исход держит резерв

    Четыре состояния записи; просрочка сверки не освобождает деньги

  9. 9. Атомарность обеспечивает база, а не код

    Проверка лимита и запись резерва — один неделимый шаг

  10. 10. Двухфазный резерв ломается на списании

    LiteLLM, Cloudflare, Kong и OpenRouter в их собственной документации

  11. 11. Каскад теряет деньги на пропущенной ошибке

    Четыре исхода: дешёвая модель ответила, верификатор принял или эскалировал

  12. 12. Точность — следствие, а не параметр

    Один верификатор, r = 0,9 и f = 0,1, при трёх уровнях дешёвой модели

  13. 13. Сильной модели достаются самые трудные задачи

    θ_c = 0,7, θ_s = 0,9: шанс спасти эскалированную задачу — 0,90 или 0,667

  14. 14. Каскад окупается только выше порога цен

    θ_c = 0,7, θ_s = 0,9, r = 0,9, f = 0,1, ρ = 1: порог k при разной цене верификатора

  15. 15. −46% за запрос, +1% за решённую задачу

    θ_c = 0,40, θ_s = 0,95, r = 0,20, f = 0,05, k = 2,5, v = 0, ρ = 1

  16. 16. Цену задачи сравнивают при равном качестве

    Фиксируем долю решённых и ищем, кто достигает её дешевле

  17. 17. Журнала бюджета пока нет

    Из 13 требований: 1 выполнено, 2 частично, 10 не начаты

  18. 18. Считаем деньги по исходу, не по ответу

    Неизвестность держит резерв, база держит инвариант, каскад держит порог