[2/2] Stanford CME295: GLM-5 и роль агентной обвязки (Рубрика #AI)
В практической части третьей лекции Stanford CME295 Шервин Амиди собирает методы обучения в историю одной модели — GLM-5 (теоретическую часть обсуждали раньше). И здесь возникает вопрос, который легко потерять за названиями алгоритмов: как научить модель новому и сохранить то, что она уже умела?
Сначала — как устроен путь обучения в его разборе.
🔸 Pretraining: фильтруют веб-данные, подбирают код и научные материалы, меняют их пропорции по ходу обучения. Модель приобретает общую основу через предсказание следующего токена. 🔸 Midtraining: расширяют контекст на длинных материалах — книгах, обсуждениях задач, PR и изменениях кода. Здесь важна и упаковка документов: нужно сохранять связи внутри материала, по которым модель учится использовать длинный контекст. 🔸 SFT: показывают желаемые ответы, решения и работу с инструментами. В примерах рассуждения могут чередоваться с вызовами инструментов: модель учится продолжать работу после получения результата. 🔸 RL: развивают несколько групп способностей. Reasoning RL связан с решением задач; agentic RL — с действиями в среде, например исправлением кода и проверкой тестами; general RL — с качеством ответов и взаимодействия с пользователем.
Но улучшения не обязаны складываться без потерь. Каждый следующий этап меняет ту же модель. Успешное обучение новым задачам может ухудшить результаты на прежних. Это не обязательно буквальное «стирание знаний»: может измениться и способ отвечать или выбирать действия.
В финале используют on-policy cross-stage distillation. Сохраненные версии модели с предыдущих этапов — checkpoints — становятся учителями: текущая модель генерирует ответы, а учителя дают обучающий сигнал на ее продолжениях. Цель — восстановить полезные способности предыдущих этапов, сохраняя новые. Это попытка совместить навыки, успех которой нужно проверять на разных задачах.
Мне здесь нравится сама идея: предыдущая версия может уступать новой в целом и при этом оставаться полезным учителем. Сохраненный checkpoint оказывается еще и материалом для дальнейшего обучения.
Отсюда Шервин переходит к гипотезе про агентную обвязку — код, который организует работу модели с инструментами и контекстом. Если модель уже обучена выбирать действия, проверять результаты и исправлять ошибки, часть подробных внешних сценариев может стать лишней. В лекции он приводит Pi; его создатель Марио Цехнер тоже связывает работоспособность минимального агента с подготовкой самих моделей.
Возьмем исправление бага. Выбор файла, реакцию на упавший тест и решение повторить проверку модель может освоить в обучении. А запуск тестов, доступ к репозиторию, хранение состояния и контроль прав по-прежнему обеспечивает среда. У этих частей разные обязанности.
Кстати, в самом отчете GLM-5 есть хорошая граница для гипотезы об упрощении: удаление старых результатов инструментов с сохранением свежих повышает результат на BrowseComp с 55,3% до 62,0% в эксперименте авторов. Управление контекстом продолжает помогать уже сильной модели.
#AI #LLM #Agents #Engineering #AI4SDLC