McKinsey про экономику AI-агентов: считать не токены, а результат (Рубрика #Management)

Прочитал интервью McKinsey с Дэвидом Теппером, CEO AI-FinOps-платформы Pay-i, про экономику агентных систем. В этом разговоре интересно то, что это взгляд не изнутри ИТ с моделями, контекстом, evals и tool calls, а со стороны CIO, CFO и владельца процесса. Какие агенты заслуживают бюджета и как это доказать?

Основная мысль в том, что цена токена почти ничего не говорит о ценности системы. Токены - это счёт, а не результат, причем агент может сделать сотни вызовов, по-разному пройти одну задачу и потратить в 30 раз больше или меньше ресурсов. Считать нужно стоимость завершённой и принятой бизнес-задачи.

McKinsey разделяет три сущности, которые рынок привык одинаково называть агентами. - Workflow - обычный процесс с AI на отдельных шагах; - Pipeline - заранее известная последовательность вызовов; - Настоящий агент - сам выбирает инструменты, порядок действий и длительность работы. У первых двух расходы ограничены архитектурой, у агента стоимость становится распределением с длинным хвостом. Автономность нельзя покупать «на всякий случай»: она должна окупать собственную неопределённость.

Исследования агентного программирования, на которые ссылается статья, дают показательные оценки: до 1000 раз больше токенов, чем в обычном coding chat, и около 59% расхода на проверку и исправления (1 и 2). Это не нормативы для любого бизнеса, но механизм важен: дороже всего может оказаться доведение результата до приемлемого качества. Автор предлагает так оценивать, когда стоит внедрять агента: P(success) > T(verify) / T(do). Если человек выполняет задачу два часа, а результат агента проверяет за шесть минут, агенту достаточно для паритета с человеком примерно 5% успешных попыток. Но это верно, если ошибка не имеет внешних ээффектов. Плохой документ можно выбросить; неверное обещание клиенту уже создаёт стоимость восстановления. Проверку и переделку Теппер называет «налогом автономности» — agency tax.

Здесь особенно заметен бизнес-взгляд гостя интервью - Технических метрик - latency, error rate, стоимость вызова - недостаточно. - До запуска нужно определить, какой KPI меняет агент: время обработки заявки, выручку, число ошибок, конверсию. - ROI - не KPI, а расчёт на основе KPI и полной стоимости сценария.

Практический план поэтому организационный: провести инвентаризацию агентов, назначить владельцев и бизнес-KPI, измерять результат всего workflow, а не только счёт провайдера, и собрать общий контур управления из финансов, ИТ и бизнес-заказчика. KPI после пилота легко превращается в оправдание уже сделанных расходов.

Этот ракурс полезен, но не самодостаточен. Бизнес-метрики не заменяют evals, безопасность и инженерную надёжность. Как и идеальная архитектура не отвечает на вопрос, зачем агент нужен компании.

Для меня главный вывод: обсуждение агента стоит начинать с единици ценности, критериев приёмки, цены проверки и последствия ошибки, а уже затем думать про архитектуру и токены. Тогда AI становится не экспериментом внутри ИТ, а управляемой инвестицией бизнеса.

#AI #Agents #Management #FinOps #Metrics #Engineering