К основному содержимому
все выпуски
Research Insights Made Simple · выпуск 33

SWE-agent: интерфейс меняет результат

40:40

Участники выпуска

Сольный выпуск без приглашённых гостей.

Содержание

Что обсудили голосом

В выпуске №33 Александр Поломодов разбирает статью SWE-agent с NeurIPS 2024 как этап развития инструментов кодинговых агентов. Авторы SWE-bench увидели, что реальные задачи из GitHub требуют не только генерации кода, но и ориентирования в чужом проекте. Отсюда вопрос: как изменится результат той же модели, если дать ей удобный интерфейс работы с репозиторием?

Разбор проходит через цикл «мысль — действие — наблюдение», поиск файлов и совпадений, просмотр кода с номерами строк и многострочные правки. После изменения агент сразу получает обновлённый фрагмент. Проверка синтаксиса может отклонить правку и вернуть ошибку, предложенный вариант и исходный код. Такая обратная связь помогает восстановиться, но ограничения одновременно сужают допустимый порядок изменений.

Затем ведущий сравнивает конфигурации и результаты абляций на SWE-bench Lite. Обсуждаются окно просмотра, сокращение старых наблюдений в истории и последовательности действий в успешных запусках. Несколько независимых попыток решают больше задач, однако долгий неудачный прогон не становится успешным только от дополнительных шагов. Корреляцию между длиной траектории и успехом нельзя превращать в универсальное правило остановки.

Финал связывает SWE-agent с SWE-smith, mini-SWE-agent и изменениями SWE-bench Verified. По мере развития моделей авторы вернулись к простому циклу с bash. Урок выпуска — проверять действия, обратную связь и ограничения на своих задачах, а после смены модели пересматривать конструкцию агента. Конкретные настройки и проценты статьи 2024 года остаются историческими измерениями.

AI в SDLCDeveloper productivityDevExМетодология исследований