
AGENTS.md: помогает ли файл контекста агенту?
Четыре агента, 300 + 138 задач: доля решённых почти не меняется, а цена в среднем растёт на 19–23 %
Содержание слайдов
1. AGENTS.md: помогает ли файл контекста агенту?
Четыре агента, 300 + 138 задач: доля решённых почти не меняется, а цена в среднем растёт на 19–23 %
2. Шесть остановок вокруг одного файла
Что проверяли, как мерили, что вышло и что с этим делать
3. Короткий файл — ещё не доказанная польза
№35: AGENTS.md стал оглавлением; Giga Conf: «сжимаются words»
4. Файл контекста стал нормой без проверки
Формат с августа 2025 года, команда /init у агентов, 60 000+ репозиториев
5. Сгенерированный файл: обзор, инструменты, тесты
Файл разработчиков — в среднем 641 слово и 9,7 раздела
6. Две постановки отвечают на разные вопросы
SWE‑bench Lite — файлы от /init; CTXbench — ещё и файлы разработчиков
7. Из 5694 запросов на слияние — 138 задач
Пять шагов: поиск, отбор, среда, описание, тесты
8. В основном нишевые проекты вместо Django
От 17 задач у openai-agents-python до 3 у graphiti
9. Три условия на четырёх агентах
Без файла, файл от /init, файл разработчиков; по одному прогону
10. Разница в 2 пункта — около трёх задач
Стандартная ошибка ±3–4 п.п., один прогон, проверка тестом значимости
11. На SWE-bench сгенерированный файл не меняет точность
Минус 0,5 п.п. в среднем по четырём агентам, p = 0,87
12. Файл разработчиков лучше сгенерированного
Но значимо ни один не лучше работы без файла: p = 0,37 и 0,21
13. Любой файл делает задачу дороже
Сгенерированный — +20 % и +23 %, файл разработчиков — около +19 %
14. Обзор репозитория почти не сокращает поиск
Шагов до нужного файла не становится заметно меньше, у GPT‑5.1 mini — больше
15. Агент в целом выполняет правила из файла
Упомянули uv — 1,6 вызова на задачу вместо почти нуля
16. С файлом модели OpenAI рассуждают дольше
GPT‑5.2 тратит на рассуждения до 22 % больше токенов
17. Сгенерированный файл немного помогает без документации
Без .md, примеров и docs/ сгенерированный файл дал +2,7 % на CTXbench
18. Ни длина, ни разделы не меняют точность
Без раздела о тестах дешевле на 16–21 % (наш расчёт)
19. Вывод статьи стал осторожнее
Февраль: «скорее снижают успех»; с июня: «в целом не повышают»
20. Двенадцать файлов, только Python, один прогон
Что признают авторы и что добавляет ведущий
21. Соседняя работа: с файлом агент работал быстрее
124 запроса: медиана времени −28,64 %, выходных токенов −16,58 %
22. Оставьте только то, чего нет в README
Нестандартные правила — да; обзор и пересказ документации — нет
23. Файл контекста — words, за которые платят
Сгенерированный файл не повышает долю решённых задач
Файл разработчиков лучше сгенерированного
Любой файл в среднем дороже на 19–23 %
Агент исполняет правила — даже лишние
Без документации сгенерированный файл немного помогает
Пишите только то, что агент не узнает сам