Снятся ли агентам электроовцы? Как Claude пересматривает свою память (Рубрика #AI)

Когда в статье Anthropic "The components of agent memory" дошёл до слова dreaming, сразу вспомнил одну из своих любимых книг "Do Androids Dream of Electric Sheep?" Филипа Дика. В «Книжном кубе» я уже вспоминал этот роман, когда рассказывал про биографию Дика в комиксах и артбук по «Бегущему по лезвию 2049». А тут у «снов» нашлась инженерная работа. Например, проверить по журналу, действительно ли ты уже вышел из пещеры в Pokémon Red.

В статье от 6 ноября Лэнс Мартин из Anthropic разбирает, что Claude может вынести из одной сессии в другую. Во время работы агент оставляет журнал и может записать важную находку. Позже отдельный фоновый проход, тот самый dreaming, сверяет заметки с исходными данными, исправляет ошибки и собирает связанные страницы вики. Самое нужное можно вынести в короткий указатель, который агент увидит при старте следующей сессии.

Anthropic проверила разные части этой схемы. В CL-Bench Claude отвечал на вопросы по базе данных, получал правильный ответ и мог оставить заметку на будущее. В Pokémon Red он записал, что прошёл пещеру, и трижды свалился с уступа обратно на уже пройденный маршрут. В прогоне с заметкой, исправленной по журналу, Claude вернулся в пещеру и добрался до следующего города. А на 25 вопросах по документам Stainless вики вместе с поиском дала 61% выполненных критериев против 53% у одного поиска. Одна вики в лучшем случае дала 48%. Это результаты тестов самой Anthropic.

А теперь к моим заметкам на полях.

🔸 Как догадка становится правилом В разборе доклада Ричмонда Алейка я уже писал о процедурной памяти — о том, как агент сохраняет удачные способы работы. У Claude была заметка о том, как после серии неудачных бросков он поменял паузу между нажатиями и поймал Magikarp. Я бы оставил это как идею для следующей попытки. Чтобы записать правило «пауза повышает шанс поимки», нужно сравнить серии попыток с паузой и без неё. В тесте с базой Opus 5 записывал и правило, и то, как его проверил. В CL-Bench есть ещё хороший поворот. После смены схемы базы даже проверенное правило может потребовать новой проверки.

🔸 Что сказать агенту про память Рядом с этим местом я написал «что, а не как». Sonnet 4.6 помогло прямое указание сначала прочитать заметки и проверить свои догадки. А Opus 5 потерял заметную часть выигрыша от памяти, когда ему велели записывать только ошибки. Мне кажется, это разные решения: напомнить агенту заглянуть в прошлый опыт и заранее решить за него, какой опыт считать полезным.

🔸 А что умел поиск? Тут есть перекличка с RepoSwarm, про который я уже рассказывал. Он собирает архитектурную документацию из репозиториев. В обоих случаях агент получает готовую карту и может по ней выйти к исходникам. Но для оценки этих восьми пунктов мне хочется знать, с чем сравнивали вики. Какой поиск использовали — по тексту, по смыслу или гибридный? В открытом примере Anthropic агент ищет через grep, но тот прогон сделан на документах SEC о сделке. Чем искали по Stainless, в статье не сказано.

Мне бы хотелось увидеть прогон на тех же вопросах с несколькими вариантами поиска, каждый с вики и без неё. Anthropic пишет об экономии примерно 20 тысяч токенов на ответе. А сколько стоит собрать вики и держать её в актуальном состоянии? С этими цифрами можно прикинуть, после скольких вопросов окупятся «сны».

#AI #Agents #Research #Architecture #Evals