[1/2] François Chollet: How We Get To AGI (Рубрика AI)
С большим интересом посмотрел выступление Франсуа Шолле на конференции AI Startup School от Y Combinator в Сан-Франциско. Франсуа является создателем популярной библиотеки глубокого обучения Keras (2015 год), которая стала одним из ключевых инструментов. В 2015 году он присоединился к Google, где проработал почти десять лет, занимаясь исследованиями в области компьютерного зрения и искусственного общего интеллекта. В 2019 году он создал бенчмарк ARC-AGI для измерения способности ИИ к общему интеллекту. В 2024 году Шолле запустил ARC Prize — конкурс с призовым фондом в $1 миллион для решения задач ARC-AGI. В ноябре 2024 года Шолле покинул Google для создания нового стартапа. В январе 2025 года он основал исследовательскую лабораторию Ndea совместно с соучредителем Zapier Майком Нупом, фокусирующуюся на разработке AGI через программный синтез.
В этом выступлении Франсуа поделился действительно интересными идеями 1. Эволюция парадигм ИИ Шолле проследил историю развития ИИ, начиная с постоянного снижения стоимости вычислений на два порядка каждое десятилетие с 1940 года. В 2010-е годы доминирующей стала парадигма масштабирования предобучения больших языковых моделей, основанная на увеличении размера моделей и объема данных. Однако в 2024 году произошел кардинальный сдвиг к адаптации во время тестирования (Test-Time Adaptation, TTA). Эта технология позволяет моделям динамически изменять свое поведение на основе конкретных данных, с которыми они сталкиваются во время вывода. TTA включает методы как обучение во время тестирования, программный синтез и синтез цепочки мыслей. 2. Определение интеллекта Франсуа критикует традиционное понимание интеллекта как способности выполнять конкретные задачи. Вместо этого он предлагает определение интеллекта как эффективности преобразования прошлого опыта в навыки для решения будущих задач с высокой новизной и неопределенностью. Ключевое различие: статические навыки против подвижного интеллекта. Статические навыки — это заученные программы для решения известных проблем, тогда как подвижный интеллект — способность синтезировать новые программы для незнакомых задач. 3. Гипотеза калейдоскопа Одна из центральных концепций выступления - гипотеза калейдоскопа. Шолле утверждает, что кажущаяся бесконечная сложность мира на самом деле состоит из небольшого количества "атомов смысла" - фундаментальных строительных блоков, которые рекомбинируются в различных ситуациях. Интеллект заключается в способности извлекать эти повторно используемые абстракции из опыта и эффективно рекомбинировать их для решения новых задач. Это объясняет, почему простое масштабирование предобучения не привело к AGI - моделям не хватает способности к рекомбинации на лету. 4. Два типа абстракции Франсуа выделяет два фундаментальных типа абстракции - Тип 1 (ценностно-центричная): работает с непрерывными пространствами, использует функции расстояния для сравнения объектов. Лежит в основе восприятия, интуиции и современного машинного обучения. - Тип 2 (программно-центричная): работает с дискретными программами и графами, ищет точные структурные соответствия. Лежит в основе человеческого мышления и планирования. Трансформеры отлично справляются с абстракциями первого типа, но плохо работают с абстракциями второго типа. Для достижения истинного интеллекта необходимо объединить оба подхода. 5. Программный синтез и дискретный поиск Ключ к преодолению ограничений современного ИИ Шолле видит в программном синтезе - методе, который позволяет автоматически создавать программы для решения задач. В отличие от градиентного спуска, который требует огромных объемов данных, программный синтез чрезвычайно эффективен в плане данных, но сталкивается с комбинаторным взрывом. Решение - использовать интуицию глубокого обучения (тип 1) для направления дискретного поиска программ (тип 2), создавая систему, которая может эффективно исследовать пространство программ.
Продолжение про фреймворки и лабораторию Ndea в посте продолжении.
#AI #ML #Software #Architecture #Processes