Как incident.io считает расходы на AI (Рубрика #AI4SDLC)
В incident.io посчитали расходы на AI двумя способами: на инженера в месяц и на effort point, условную единицу сложности выпущенных изменений. За один балл берут PR средней сложности, а остальные PR взвешивают по оценке модели.
Гергей Орос приводит в рассылке данные incident.io и уточняет, что сам инвестор компании. После перехода на Opus 5.5 расходы упали примерно с $4 500 до $1 600 в месяц на инженера (после перехода на Opus 5.5 с более старых моделей Антропик). А в расчёте на effort point выделилась инфраструктурная команда. У неё расход примерно в пять раз выше, чем почти у всех остальных. Инженеры используют агента, чтобы разобраться в поведении системы в проде, провести анализ или прогнать бенчмарки. На это уходят деньги, а PR в конце может и не быть.
У компании есть цифры и по тому, что происходит после генерации кода. Доля PR, которые дошли до прода без человеческого ревью, выросла с 12% до 43%. Инцидентов на тысячу PR стало на 60% меньше, а в абсолютных числах их стало больше. Изменений выпускают гораздо больше. По разбору команды, сейчас инциденты чаще связаны с тем, что при подготовке изменения не хватало информации о поведении системы в проде. Команда пробует давать агентам обратную связь из эксплуатации.
В лонгриде об экономике AI я предлагал считать стоимость принятой задачи с учётом проверки, переделок и цены ошибки. Пример с инфраструктурой хорошо показывает, зачем вообще договариваться, что считать результатом. Если инженер с агентом нашёл и проверил причину сбоя, работа сделана, даже если в репозитории ничего не поменялось.
А история с инцидентами продолжает мой доклад про узкие места AI4SDLC. Когда код пишется быстрее и ревью меньше задерживает выпуск, всё больше зависит от того, что мы знаем о поведении системы после релиза. Снижение частоты сбоев на PR и рост числа сбоев за месяц вполне могут ужиться на одном дашборде. Для разговора об окупаемости я бы ещё посмотрел, насколько тяжёлыми были эти сбои и сколько времени они забрали у дежурных.
И ещё одна деталь в продолжение «Джуна после кода». Новичкам в incident.io советуют первый месяц обходиться без AI, чтобы освоиться в кодовой базе. Речь про новых сотрудников, в том числе опытных. Мне тут интересен сам выбор команды: первый месяц можно потратить на понимание системы, даже если с агентом первый PR появился бы раньше.
#AI4SDLC #Engineering #Metrics #FinOps #SRE