Why AI Isn’t Ready to Be a Real Coder? AI’s coding evolution hinges on collaboration and trust (Рубрика AI)
Интересная статья от 26 августа из IEEE Spectrum про текущее состояние AI инструментов, которые по мнению авторов быстро прогрессируют, но до подной автономии им далеко. По мнению автора статьи они полезные как ассистенты, но не могут автономно решать задачи с большим контекстом, сложной логикой и длинным горизонтом планирования. В итоге, сейчас стоит стремиться не к замене разработчика, а к выстраиванию эффективного взаимодействия человек <-> AI.
Интересно, что эта статья основана на мартовском whitepaper "Challenges and Paths Towards AI for Software Engineering", представленной на ICML-2025 (Cornell, MIT CSAIL, Stanford, UC Berkeley, UPenn). В котором
- Даётся таксономия задач ИИ в разработке (не только генерация кода, но и тестирование, анализ, рефакторинг, сопровождение и т. д.);
- Перечисляются bottlenecks: оценивание и бенчмарки, эффективное пользование инструментами, коллаборация с человеком, долгосрочное планирование, огромный контекст, семантическое понимание кодовых баз, низкоресурсные языки/редкие библиотеки, обновления API/версий, высокая логическая сложность;
- Предлагаются пути вперёд: лучший сбор и курирование данных, RL-окружения для кода, быстрая адаптация к конкретным кодовым базам, обучение моделей совместной работе с людьми, семантически осведомлённый поиск/ретривал, глубокая интеграция с инструментами и процессами разработки
А в статье "Why AI Isn’t Ready to Be a Real Coder?" помимо опоры на эту статью приведены идеи и других ученых, которые поделились своими мыслями
- Armando Solar-Lezama (MIT CSAIL) рассказал о том, что нынешние интерфейсы и взаимодействие с ИИ ещё далеки от работы с живым коллегой.
- Koushik Sen (UC Berkeley) поговорил о трудностях поиска и правки сложных дефектов (например, проблем с безопасностью памяти) в больших кодовых базах.
- Shreya Kumar (University of Notre Dame) подняла вопрос о цене "промпт-инжиниринга": иногда проще написать код, чем объяснить его ИИ.
- Abhik Roychoudhury (National University of Singapore) высказался о критичности захвата пользовательского намерения при создании софта (архитекторы и аналитики обычно говорят об этом в формате problem space и solution space, а также функциональных и нефункциональных требований). Также Abhik поговорил о роли "агентного" ИИ и возникающем при этом вопросе доверия
Если суммировать, то вот основные выводы статьи 1. Полная автономия ещё не здесь: модели часто «галлюцинируют» причины багов, дают нерелевантные фиксы и плохо держат длинный контекст/план. Нужен обязательный human-in-the-loop. 2. Прорыв потребует не только больших моделей, но и правильной организации работы: новые интерфейсы взаимодействия, умение модели выражать неуверенность и проактивно уточнять требования, явный захват user intent. 3. Агентные и эволюционные подходы дают обнадёживающие сигналы, но проблема доверия и проверки останется центральной. Кстати, в статье упоминается AlphaEvolve, про который я рассказывал раньше
#AI #Engineering #Software #Metrics #Devops #DevEx #Architecture