Материалы Research Insights #47. Помогает ли AGENTS.md агенту? (Рубрика #AI4SDLC)

Материалы Research Insights #47. Помогает ли AGENTS.md агенту? (Рубрика #AI4SDLC)

10 ноября 2026 года вышел сольный выпуск Research Insights Made Simple #47 про статью "Evaluating AGENTS.md (v3)", который я уже разбирал в посте раньше. Допустим, мы записали в файл, какие тесты запускать. Агент стал запускать их чаще. А задач он от этого решил больше? В выпуске я разобрал эксперимент ETH Zurich и LogicStar.ai, в котором эти два результата разошлись.

В выпуске разобрал

🔸Как меняется стоимость и успешность прогонов бенчей На SWE-bench Lite сгенерированные инструкции подняли среднюю стоимость прогона на 20%, на CTXbench — на 23%. Статистически значимого прироста доли решённых задач авторы не нашли. На CTXbench файлы разработчиков сработали лучше сгенерированных, а их преимущество перед запусками без файла статистически не подтвердилось.

🔸 Куда уходят дополнительные шаги Если в инструкции указан uv, агент чаще пользуется uv. Если просят запустить тесты, он чаще их запускает. Авторы отслеживали эти действия отдельно, а задачу считали решённой по тестам на поведение патча. Если вам важно, чтобы агент соблюдал порядок миграций, это свойство стоит проверять отдельно.

🔸 Что файл добавляет к тому, что агент уже может прочитать В дополнительном эксперименте на CTXbench исследователи сначала сгенерировали файл, затем убрали из репозитория документацию и примеры. В этих условиях сгенерированный файл помогал решать задачи. У пересказа README появляется ценность, когда самого README под рукой больше нет.

🔸 Что меняет формулировка задачи «Иногда падает экспорт» и «вот как воспроизвести сбой и каким должен быть результат» оставляют агенту разное количество догадок. Моя гипотеза — чем точнее задача, тем меньше в файле может остаться полезных для неё сведений.

🔸 Как поставить свой эксперимент Возьмите одну задачу. Сначала дайте агенту исходный запрос без файла, затем тот же запрос с файлом. В третьем варианте перенесите нужные правила из файла прямо в задание. Сравните стоимость, проверьте, работает ли патч, и посмотрите, сработало ли само правило. Например, поправил ли агент генератор, если нужный файл создаётся автоматически.

Материалы выпуска

- Страница выпуска с таймкодами и слайды выпуска - Видео: YouTube, VK Видео - Аудио: Podster, Apple Podcasts - Текстовый конспект

Если у вас есть правило в AGENTS.md, которое появилось после конкретного косяка агента, расскажите, что случилось и как вы поняли, что правило помогло.

#ResearchInsights #AI4SDLC #Agents #Evals #Engineering