[2/2] François Chollet: How We Get To AGI (Рубрика AI)

Заканчивая рассказ про выступление Франсуа, надо рассказать про его фреймворки ARC-* и лабораторию Ndea

6. Предложенные бенчмарки

• ARC-1. Выпущенный в 2019 году тест содержит 1000 уникальных задач, требующих подвижного интеллекта, а не заученных знаний. Все задачи построены на базовых знаниях (объектность, элементарная физика, геометрия), которыми владеет любой четырехлетний ребенок. За пять лет, несмотря на 50,000-кратное увеличение масштаба предобученных моделей, производительность на ARC-1 выросла только с 0% до 10%. Это убедительно доказало, что подвижный интеллект не возникает из простого масштабирования предобучения.
• ARC-2. Выпущенный в марте 2025 года ARC-2 фокусируется на композиционном рассуждении. В отличие от ARC-1, где многие задачи можно было решить интуитивно, ARC-2 требует обдуманного размышления, но остается выполнимым для людей. Тестирование 400 человек показало, что группы из 10 человек могли бы достичь 100% точности. Однако базовые модели показывают 0% точности, статические системы рассуждения — 1-2%, и даже продвинутые системы с TTA значительно уступают человеческому уровню. - ARC-3. Запланированный к выпуску в начале 2026 года ARC-3 кардинально отходит от формата "вход-выход". Вместо этого он оценивает агентность — способность исследовать, обучаться интерактивно и автономно ставить цели. ИИ будет помещен в совершенно новую среду, где он не знает, что делают элементы управления, какова цель и каковы правила игры. Эффективность будет центральным критерием — модели должны решать задачи с тем же уровнем эффективности действий, что и люди. 7. Будущее направление: лаборатория Ndea В конце выступления Франсуа представил свою новую исследовательскую лабораторию Ndea, которая фокусируется на создании ИИ, способного к независимым изобретениям и открытиям. Подход Ndea заключается в создании программистоподобного мета-обучающегося, который при столкновении с новой задачей синтезирует программу, адаптированную к этой задаче. Эта программа будет объединять подмодули глубокого обучения для задач типа 1 (восприятие) и алгоритмические модули для задач типа 2 (рассуждение). Система будет использовать глобальную библиотеку повторно используемых строительных блоков-абстракций, которая постоянно эволюционирует в процессе обучения на новых задачах. Первой вехой станет решение ARC-AGI системой, которая изначально ничего не знает об этом бенчмарке.

Видение Шолле выглядит впечатляющим, мне действительно понравилось выступление - я узнал много нового + добавил себе в to read list много новых материалов.

#AI #ML #Software #Architecture #Processes