К основному содержимому
Research Insights Made Simple
Разбор исследованияResearch Insights Made Simple

AGENTS.md: помогает ли файл контекста агенту?

Четыре агента, 300 + 138 задач: доля решённых почти не меняется, а цена в среднем растёт на 19–23 %

/ Research Insights Made Simple · Обвязки агентов 8/15 · Файлы контекста

Содержание слайдов

  1. 1. AGENTS.md: помогает ли файл контекста агенту?

    Четыре агента, 300 + 138 задач: доля решённых почти не меняется, а цена в среднем растёт на 19–23 %

  2. 2. Шесть остановок вокруг одного файла

    Что проверяли, как мерили, что вышло и что с этим делать

  3. 3. Короткий файл — ещё не доказанная польза

    №35: AGENTS.md стал оглавлением; Giga Conf: «сжимаются words»

  4. 4. Файл контекста стал нормой без проверки

    Формат с августа 2025 года, команда /init у агентов, 60 000+ репозиториев

  5. 5. Сгенерированный файл: обзор, инструменты, тесты

    Файл разработчиков — в среднем 641 слово и 9,7 раздела

  6. 6. Две постановки отвечают на разные вопросы

    SWE‑bench Lite — файлы от /init; CTXbench — ещё и файлы разработчиков

  7. 7. Из 5694 запросов на слияние — 138 задач

    Пять шагов: поиск, отбор, среда, описание, тесты

  8. 8. В основном нишевые проекты вместо Django

    От 17 задач у openai-agents-python до 3 у graphiti

  9. 9. Три условия на четырёх агентах

    Без файла, файл от /init, файл разработчиков; по одному прогону

  10. 10. Разница в 2 пункта — около трёх задач

    Стандартная ошибка ±3–4 п.п., один прогон, проверка тестом значимости

  11. 11. На SWE-bench сгенерированный файл не меняет точность

    Минус 0,5 п.п. в среднем по четырём агентам, p = 0,87

  12. 12. Файл разработчиков лучше сгенерированного

    Но значимо ни один не лучше работы без файла: p = 0,37 и 0,21

  13. 13. Любой файл делает задачу дороже

    Сгенерированный — +20 % и +23 %, файл разработчиков — около +19 %

  14. 14. Обзор репозитория почти не сокращает поиск

    Шагов до нужного файла не становится заметно меньше, у GPT‑5.1 mini — больше

  15. 15. Агент в целом выполняет правила из файла

    Упомянули uv — 1,6 вызова на задачу вместо почти нуля

  16. 16. С файлом модели OpenAI рассуждают дольше

    GPT‑5.2 тратит на рассуждения до 22 % больше токенов

  17. 17. Сгенерированный файл немного помогает без документации

    Без .md, примеров и docs/ сгенерированный файл дал +2,7 % на CTXbench

  18. 18. Ни длина, ни разделы не меняют точность

    Без раздела о тестах дешевле на 16–21 % (наш расчёт)

  19. 19. Вывод статьи стал осторожнее

    Февраль: «скорее снижают успех»; с июня: «в целом не повышают»

  20. 20. Двенадцать файлов, только Python, один прогон

    Что признают авторы и что добавляет ведущий

  21. 21. Соседняя работа: с файлом агент работал быстрее

    124 запроса: медиана времени −28,64 %, выходных токенов −16,58 %

  22. 22. Оставьте только то, чего нет в README

    Нестандартные правила — да; обзор и пересказ документации — нет

  23. 23. Файл контекста — words, за которые платят

    Сгенерированный файл не повышает долю решённых задач

    Файл разработчиков лучше сгенерированного

    Любой файл в среднем дороже на 19–23 %

    Агент исполняет правила — даже лишние

    Без документации сгенерированный файл немного помогает

    Пишите только то, что агент не узнает сам