Обвязка как среда обучения
Что уходит в веса? Lego-RL учит модель внутри Claude Code, OpenCode и OpenHands
Содержание слайдов
1. Обвязка как среда обучения
Что уходит в веса? Lego-RL учит модель внутри Claude Code, OpenCode и OpenHands
2. Четыре остановки: среда, сигнал, веса, перенос
Главная статья — Lego-RL, ещё четыре проверяют её выводы
3. AHE правит обвязку, Lego-RL — веса
Вопрос из атласа: что закреплять в модели, а что — в окружении
4. Обвязка — часть среды, а не обёртка
Учится только модель; обвязку не трогают
5. Чужой прирост может не пережить смену обвязки
KAT-Coder и его база Qwen3.6 в трёх обвязках
6. Дообучение привязывает модель к обвязке
Две базы и две дообученные модели в четырёх обвязках
7. Токены ловят на границе API
Прокси между обвязкой и сервером модели
8. Агент ищет лазейки в награде
Стены ставят в песочнице, а не в промпте
9. Сбой среды — не нулевая награда
Сломанные прогоны исключают из градиента
10. Сигнал дают только задачи средней трудности
Группы 0/8 и 8/8 не дают градиента
11. Каждую обвязку сравнивают со своей базой
Пик валидации, один прогон, T = 0,7
12. Lego-RL даёт +5,8–9,4 п.п. в каждой обвязке
Qwen3.5-35B-A3B до и после; рядом Qwen3.6 и KAT-Coder
13. Узкое место — прогоны, а не обучение
91,3 % времени испытания занимает сам агент
14. Модель учится перечитывать свою правку
Проверка растёт сильнее, чем восстановление
15. Сжатию контекста тоже можно научить
Одна награда отвечает и за сводку, и за действия
16. План помогает, если учили и исполнению
Qwen3-Coder-30B-A3B в Claude Code, затем перенос
17. Процедуры уходят в веса легче знаний
Ученик Qwen3.5-9B в простой обвязке против базы в h*
18. Разнообразие обвязок важнее их числа
18 конфигураций из 243 и проверка в Claude Code
19. На базовой обвязке разнообразие почти бесплатно
ClawGym-Bench, модель 30B, GRPO
20. Выводы Lego-RL держатся на одном прогоне
И что ограничивает четыре статьи-спутника
21. В веса — привычки, в обвязку — границы
Учить там, где модель будет работать