AI ускорил разработку: как понять, что это правда (Рубрика #AI4SDLC)
На AI Dev Live уже выложили рекап моего доклада. Если хотите бесплатно получить все записи и полные рекапы конференции, подпишитесь на Telegram-каналы спикеров через кнопку участвовать на сайте — вас перекинет на tg-бота, а он покажет, на кого подписаться, и откроет доступ после проверки.
В докладе 11 ноября я привёл пример из эксперимента METR. Опытные разработчики работали в своих репозиториях и думали, что AI сэкономил им время. По замерам задачи с AI заняли дольше. А Microsoft у ранних пользователей агентов увидела больше слитых PR на инженера. Как обе истории могут быть правдой одновременно и что тогда мерить у себя?
В докладе разобрал - Как считать долю внедрения AI и кого включать в знаменатель, если доступ к агентам есть у части команды. - Как измерять путь от гипотезы до результата у клиента и заметить, что после ускорения написания кода очередь переехала на ревью. - Как считать время инженеров, когда у одного человека параллельно работают несколько агентов. - Как посчитать цену полезного замечания на AI-ревью, принятой партии миграции или проверки гипотезы на прототипе.
Ещё материалы
- Интерактивные слайды и они же в PDF - Мой конспект доклада с ответами на вопросы - Запись на YouTube
Если уже мерили эффект AI у себя, расскажите, где первым стало видно ускорение и дошло ли оно до пользователей.
#AI4SDLC #Agents #Engineering #Metrics #Conference