[2/2] John Schulman on dead ends, scaling RL, and building research institutions (Рубрика AI)
Продолжая рассказ об этом крутом интервью, хочется рассказать о тезисах, что связаны с руководством исследовательскими командами, а также подсветить основные мысли, что показались мне полезными.
7️⃣ Как строить исследовательские команды: hands-on vs hands-off Интересные размышления про архетипы руководителей исследований
- Hands-on (кодит, читает код, deep technical feedback) - он ориентирован на проекты для достижения целей, может рулить командами с начинающими специалистами, работает в режиме execution этого проекта
- Hands-off (работает как консультант, дает советы по карьере, мотивирует) - больше работает в формате exploratory research, а в команде должны быть senior люди
Но основной ключ в адаптивности - исследования меняются и что работало 7 лет назад, может не сработать сейчас. Ранний OpenAI был peacetime (exploratory), новые labs (Thinking Machines) - wartime (надо догнать SOTA (state of the art результаты) + выстроить исследовательскую культуру)
8️⃣ День из жизни исследователя Шульман работает в кофейнях (шум вокруг + ноутбук + идеи), потом execution: код, review docs/plots/код коллег. Использует Cursor и Claude Code для кодинга, GPT-5 Pro для литературы/детализации идей/обратной связи по поводу написания. Совет от Джона: держите research notebook (ещё важнее с LLM для контекста)
9️⃣Замедление прогресса: 10x исследователей ≠ 10x идей За 10 лет число ML-researchers выросло в 10–100x, но "consequential" идеи (типа scaling laws) не ускорились. Причины:
- Низковисящие результаты исчерпаны
- Выше уровень (больше baselines, экспериментов)
- Сдвиг типов: раньше был рисковые люди, а сейчас более традиционные (engineering > research taste) Но качество растёт: старые papers (70–90-е) имели слабую строгость.
🔟 Thinking Machines: philosophy и Tinker Новая лаборатория Шульмана. Философия не только в том, чтобы догнать SOTA, но и прокачать исследовательскую мышцу и заложить культур. У этой лабы уже есть инструмент Tinker - low-level API для fine-tuning (Python scripts без GPU hassle), для продвинутых ML-инженеров. План эволюционировать в full-stack продукт для менее продвинутых инженеров.
Мне показалось это интересным с разных сторон
- Для лидеров тут есть идеи про переключение между hands-on и hands-off в зависимости от фазы проекта и зрелости людей
- Для инженеров объяснение, что ИИ-лаборатории это не магия - в работе много тупиков, предвзятости и то, что культура важнее процессов.
- Для исследователей есть мысли про возвращение RL (verifiers, multi-agent), про движение в сторону непрерывного обучения, а также про важность новых исследований даже во время работы законов масштабирования (которые говорят, что больше данных и больше GPU - лучше результат)
#Engineering #AI #Metrics #Software #Architecture #RnD #ML