Evaluating AGENTS.md: что осталось добавить к контексту (Рубрика #AI4SDLC)

Evaluating AGENTS.md: что осталось добавить к контексту (Рубрика #AI4SDLC)

У этой научной статьи "Evaluating AGENTS.md" любопытный результат: инструкции агентам добавили работы, а убедительного прироста решённых задач не получилось. Прочитал статью с пометками; сначала про эксперимент, потом про вопросы, которые у меня к нему остались.

Статью написал Thibaud Gloaguen и соавторы из ETH Zurich и LogicStar.ai, а проверяли они пользу файлов вроде AGENTS.md и CLAUDE.md. В этом разборе идет речь про препринт v3 от 29 сентября 2026 года. Авторы взяли SWE-bench Lite с 300 задачами и собрали свой CTXBench: 138 задач из 12 Python-репозиториев с AGENTS.md от разработчиков репозиториев. Дальше они сравнили четыре связки моделей и агентов: Claude Code с Sonnet 4.5, Codex с GPT-5.2 и GPT-5.1 Mini, Qwen Code с Qwen3-30B-Coder. Было 3 режима: без AGENTS.md, с автогенерацией AGENTS.md от Claude/Codex и с AGENTS.md от разработчиков репозиториев; последний доступен только в CTXBench (этот бенч собирали из репозиториев, где он был). Успех определяли прогоняя тесты на патче, что написал агент.

Что получилось

1️⃣ Автогенерация увеличила среднюю стоимость на 20% в SWE-bench и 23% в CTXBench. Изменения успешности относительно режима без инструкций статистически незначимы: небольшое ухудшение с автогенерацией, небольшое улучшение с файлами разработчиков. При этом последние значимо превосходят сгенерированные в CTXBench.

2️⃣ Агенты следовали инструкциям: больше читали, тестировали, использовали указанные инструменты. Обзоры репозитория не помогали быстрее добраться до нужных файлов. Авторы рекомендуют оставлять специфичные требования, которых нет в документации, и проверять пользу инструкций экспериментально.

А теперь мои заметки на полях

Меня зацепило, сколько работы уже сделали агенты при подготовке CTXBench. Один фильтрует PR, другой настраивает окружение, следующий пишет подробную постановку по PR и готовому патчу, ещё один генерирует тесты. Есть и LLM для анализа контекстных файлов и действий агентов, но это уже измерение, оно само по себе не обогащает постановку.

Особенно интересен шаг «написать задачу по готовому решению». Авторы запрещают раскрывать решение и вручную проверяют результат. Но знание ответа позволяет заранее выбрать важные требования, интерфейсы и крайние случаи. Код не подсказали, а часть работы по выяснению задачи уже сделали.

Условно: между «экспорт иногда падает» и «обработай пустой список, сохрани порядок и верни такой-то тип» есть большая исследовательская дистанция. Даже если способ исправления не назван.

Отсюда моя гипотеза: добавочная ценность AGENTS.md может уменьшаться, когда неопределённость уже сняли при подготовке задания. Особенно если файл тоже сгенерирован из доступного репозитория. Что нового по смыслу ему осталось добавить?

В статье есть интересные проверки: переписывание задач SWE-bench по этой процедуре повышает успешность примерно на 14–17 процентных пунктов у двух проверенных моделей в сравнении без контекстных файлов. А при удалении остальной документации сгенерированные инструкции дают средний прирост 2,7 п.п. То есть исходная обеспеченность информацией имеет значение.

Но объяснить всё подготовкой задач нельзя: на исходном SWE-bench автогенерация тоже не дала значимого улучшения. Моя гипотеза о механизме остаётся гипотезой.

Ещё две пометки:
1) Всё проверяли на Python, а этот язык кажется самый популярный в претрейне
2) Прохождение тестов не покрывает все нефункциональные требования. Польза правил про безопасность, архитектуру или поддерживаемость требует отдельной оценки.

Если продолжать идею эксперимента, то интересно сравнить исходные и уточнённые задачи с одним и тем же AGENTS.md разработчиков. И отдельно проверить, помогает ли он выяснять требования, которые пока никто не превратил в готовую спецификацию.

#AI4SDLC #Research #Agents #Evals #Engineering