[1/2] John Carmack Reveals AGI Future: Robots, Videogames and AI Agents... (Рубрика AI)

Очень интересное выступление Джона Кармака, со-основателя id Software, ex-CTO Oculus, основателя Keen Technologies. Интересно, что в команду Keen Technologies Джона входят 6 исследователей, включая его и Ричарда Саттона, "крёстного отца reinforcement learning". Кстати, Джона все мои сверстники знают его как создателя игры Doom, что вышла в 1993 году:) Он выступал с этой презентацией на конференции Upper Bound 2025 в середине мая. Интересно, что Кармак позиционирует себя как "инженера, ставшим исследователем" и считает создание AGI "самым важным, чем он может заниматься сегодня".

Если говорить про сам доклад, то Джон предлагает отказаться от LLM-гонки, так как он не верит, что "блендер"-предобучение трансформеров приведёт к настоящему пониманию мира; ему важен интерактивный поток опыта. Он предлагает проверять гипотезы на играх, которые выглядят как чистый полигон. Причем коммерческие игры - это "непредвзятые" среды, так как исследователи не могут тайно подогнать среду под алгоритм. И целью является быстрая, непрерывная, многозадачная адаптация агента, близкая к тому, как кошка или собака учатся в реальном мире.

Ключевые идеи выступления такие 1. "Сначала наука, потом инженерия" Кармак критикует RL-сообщество за "погоню за цифрами" и призывает искать фундаментальные закономерности обучения, а не только настраивать hyper-параметры. 2. Real-time RL против пошаговых симуляторов В реальном мире среда не ждёт, пока агент примет решение; лишние 150–200 мс задержки "ломают" многие алгоритмы. Джон продемонстрировал как это не работает на стенде "robotroller", который физически двигает джойстик Atari 3. Ошибки и уроки старта Keen Technologies Здесь Джон рефлексирует над своими ошибками как исследователя и выделяет следующие моменты

• Он слишком глубоко погружался в низкоуровневый C++/CUDA
• Пытался использовать Sega Master System вместо Atari, что затруднило сравнение с результатами предыдущих исследователей
• Выполнение кода на ноутбучных GPU оказались узким местом - команда перешла на удалённые кластеры 4. “Видео-стена” как бесконечная среда обучения. Идея была в том, чтобы объединить пассивный видеоряд (TV/YouTube) и интерактивные игры в непрерывную ленту, где агент сам выбирает, что изучать. 5. Переход от симуляции к реальности Даже простой перенос из эмулятора Atari на реальный монитор + камеру требует решения проблем ввода-вывода, освещения и дрейфа изображения. В общем задачка становится сильно интереснее

Продолжение с описанием бенчей и общими выводами в следующем посте.

#AI #AGI #ML #Software #Engineering #Architecture