Research Insights Made Simple 17 - Measuring the Impact of Early-2025 AI on Developer Productivity (Рубрика DevEx)

Разбор отчета METR "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity", где показано замедление разработчиков при использовании AI. Методология мне показалось хоть и интересной, но объем выборки аж в 16 инженеров казался мне маловатым для того, чтобы делать громкие заявления о замедлении разработки. Правда, такой размер выборки не помешал многим журналистом активно писать про это исследование. В итоге, я позвл в гости Артема Арюткина, СРО платформы для разработчиков в Городских сервисах Яндекса, вместе с которым мы обсудили все плюсы и минусы этого исследования.

Вот примерный список тем, что мы успели обсудить за 40+ минут

• Введение, анонс METR и бенчмарка
• Знакомство с гостем
• Спонсор исследования и возможная предвзятость
• Как устроен эксперимент
• Гипотезы о мотивах и дизайне исследования
• Оценка и самооценка задач участниками
• Набор участников и требования к ним
• Ограничения масштаба и методологии
• Цифры: 246 задачи от 1 до 8 часов по длительности, 16 инженеров в исследовании
• Пять факторов замедления работы
• Контекст, интеграция и коммуникации как узкое место
• Как работать с инструментом по уровням сложности
• Почему моделям сложно применять изменения в реальном коде
• Итоги бенчмарков и ограниченность генерализации

Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.

P.S. На Big Tech Night в ближайшую пятницу Станислав Моисеев, мой коллега, что руководит RnD центром, расскажет про разные подходы к измерению developer productivity в общем, а также то, как померить влияние Gen AI на это. Если тема вам интересна, то регистрируйтесь и приходите послушать.

#Software #Engineering #Metrics #Databases #Architecture #Devops