К основному содержимому
Research Insights Made Simple
Software factories · серия 4/8Research Insights Made Simple

Тесты зелёные, а сливать нельзя: качество кода фабрики

Почему приёмка T2 должна смотреть на следующую задачу T4

/ Research Insights Made Simple · Software factories 4/8 · Качество кода

Содержание слайдов

  1. 1. Тесты зелёные, а сливать нельзя: качество кода фабрики

    Почему приёмка T2 должна смотреть на следующую задачу T4

  2. 2. Две зелёные правки — разное будущее

    Следующий агент чаще спотыкается на коде агента

  3. 3. Приёмка T2 пока не проверяет T4

    Мост от прошлого разбора: корректность ещё не развиваемость

  4. 4. Четыре вопроса о коде после приёмки

    Сольют ли, достроят ли, почему нет, как принимать

  5. 5. Около половины зелёных правок не приняли бы

    Грейдер пропускает на 24,2 п. п. больше мейнтейнеров

  6. 6. Отклоняют и правки, решившие задачу

    Качество кода и поломка соседнего кода — отдельные причины

  7. 7. Ускорение с Cursor держится два месяца

    Строки +281 % в первый месяц, затем без значимого эффекта

  8. 8. Предупреждения и сложность растут надолго

    Предупреждения +30 %, сложность +42 % — и не возвращаются

  9. 9. Меняем автора первой правки, не задачу

    PR0 → PR1 → PR2; сравниваем AA и HA

  10. 10. Обе первые правки проходят старые тесты

    Pass-to-Pass зелёные, Fail-to-Pass ещё красные

  11. 11. Один прогон: несколько пунктов могут быть шумом

    Набор 1 377 задач, в сравнении меньше; один прогон на пару

  12. 12. Код агента чаще мешает следующей задаче

    До −13,1 п. п.; на FeatBench всего 16 задач

  13. 13. Сильнее всего страдает рефакторинг

    Наша оценка: T4 ближе к фиче с рефакторингом

  14. 14. Метрики сложности разрыв не объясняют

    Метрики сложности PR1: отношение шансов около 1

  15. 15. Дрейф контракта ошибок связан с провалом

    IEC: отношение шансов 1,83; модель объясняет малую долю

  16. 16. Тихий резервный сценарий вместо ошибки

    Тесты PR1 зелёные, а контракт уже другой

  17. 17. Дрейф переживает следующую правку

    Остаётся в 85,9 % случаев, переписан в 6,9 %

  18. 18. Агенты различаются сильнее, чем агенты и люди

    Откаты за 90 дней: от 6,1 до 14,5 % против 11,5 % у людей

  19. 19. T2 принимаем по исходу T4

    Свой код, тот же агент, эталонная T2 рядом

  20. 20. Телеметрия должна видеть следующее изменение

    Размер PR и уверенность из DX — симптомы, а не механизм

  21. 21. Два шага — ещё не годы сопровождения

    Короткие цепочки, квазиэксперимент, три репозитория, неслучайные задачи

  22. 22. Принимайте код по следующему изменению

    Тесты — нижняя планка, развиваемость — отдельная проверка