Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 4 - Reinforcement Learning with LLMs (Рубрика #AI)
Досмотрел наконец-то четвертую лекцию курса "Transformers & LLMs", в которой речь идет про обучение с подкреплением. Пока это самая забористая лекция этого курса. В разборе третьей лекции был пример с агентом, который сделал девятнадцать полезных действий, а на двадцатом сломал программу. В конце упали тесты. Как теперь объяснить модели, какой из двадцати шагов ей стоило сделать иначе? В четвёртой лекции Stanford CME295 Афшин и Шервин Амиди разбирают, как из такой обратной связи получается обновление весов модели.
Сначала нужно решить, кто выставляет оценку. Если речь о тоне или ясности ответа, люди могут выбрать лучший из двух вариантов. На этих предпочтениях обучают модель награды, которая дальше оценивает новые ответы. Это схема RLHF (Reinforcement Learning from Human Feedback). Для задач с проверяемым результатом есть RLVR (Reinforcement Learning with Verifiable Rewards): можно сверить число с эталоном или запустить тесты на сгенерированном коде.
Для модели каждый шаг — выбор следующего токена по запросу и уже написанной части ответа. В REINFORCE (классический метод Policy Gradient в Reinforcement Learning) модель генерирует ответ, а награда взвешивает градиент логарифма его вероятности. Так итоговая оценка влияет на вероятности отдельных токенов, из которых сложился ответ. Но одиночные оценки дают шумные обновления. И каждый новый ответ надо генерировать токен за токеном. Вероятности токенов в готовом ответе можно пересчитать за один проход, поэтому одну пачку попыток выгодно использовать для нескольких обновлений.
🔸 PPO оценивает, чего можно было ожидать на каждом шаге Вместе с моделью обучают critic, который смотрит на уже написанную часть ответа и прогнозирует награду за продолжение. Из этого прогноза и дальнейшего хода попытки получают advantage — оценку того, насколько удачным оказался выбор. Clipping ограничивает стимул слишком сильно менять вероятности, пока мы переиспользуем одну пачку. В схеме из лекции есть и KL-штраф за уход от исходной модели. Для clipping точка отсчёта — версия, которая только что сгенерировала пачку. Для KL-штрафа — фиксированная исходная модель.
🔸 GRPO берёт точку отсчёта из самих попыток Допустим, модель предложила четыре исправления, и только одно прошло тесты. У него оценка выше среднего по группе, у остальных ниже. Отдельный critic для этого сравнения не нужен. А если все четыре попытки провалились и получили одинаковый балл, групповое сравнение даёт нулевое преимущество всем четырём. При оценке только по итогу один и тот же advantage применяется ко всем токенам ответа. Даже удачная попытка может содержать несколько совершенно лишних шагов, которые получат тот же сигнал.
В исходном GRPO вклад токена зависит и от длины ответа. Чем длиннее ответ, тем меньше вес каждого его токена при усреднении. DAPO усредняет по всем токенам группы, а Dr. GRPO убирает деление на длину конкретного ответа.
🔸 On-policy distillation даёт подсказку там, где ученик сам оказался Ученик начинает решать задачу. Учитель видит, что ученик написал к этому моменту, и показывает, какие продолжения считает вероятными. В лекции это выражают через reverse KL: если ученик часто выбирает токен, которому учитель даёт очень низкую вероятность, расхождение обходится дороже. В self-distillation роль учителя играет та же модель, которой на этапе обучения дополнительно показывают, например, эталонное решение. Можно учиться на собственных заходах в тупик, если учитель умеет предложить из них выход.
В общем, это отличная лекция, на просмотр которой я потратил неделю и в сумме часа три экранного времени:)
#AI #LLM #Learning #Engineering #Agents