AGENTS.md: помогает ли файл контекста агенту?

Александр Поломодов начинает с устройства эксперимента. На SWE-bench Lite авторы сравнивают запуски с файлом от команды /init и без файла. CTXbench добавляет третий вариант с инструкциями разработчиков из 12 репозиториев. Успех определяют тесты исправления.

Сгенерированные файлы увеличивают расходы на обоих наборах. На CTXbench инструкции разработчиков дают лучший результат, чем сгенерированные, а статистически значимого выигрыша относительно запуска без файла авторы не находят. По траекториям видно, что агент использует названные инструменты и запускает проверки. Обзор репозитория при этом не сокращает путь до файлов исходного исправления.

Ведущий разбирает границы эксперимента на примере экспорта. Если обработку частных случаев и ограничения уже перечислили в запросе, файл добавляет меньше сведений. Для своих проектов он предлагает сохранять неочевидные правила и сравнивать одинаковые задачи с файлом и без него, отдельно проверяя архитектурные требования.

В ответах на вопросы речь идёт о восстановлении реализации по требованиям и тестам, правилах для поддержки и памяти агента. Повторяющиеся ошибки можно разобрать, а выводы закрепить в инструкции, навыке или автоматической проверке. Таймкоды приведены по аудиоверсии Podster.