Andrew Ng Explores The Rise Of AI Agents And Agentic Reasoning BUILD 2024 Keynote (Рубрика AI)

Три месяца назад Andrew Ng выступал с keynote докладом про AI Agents и агенсткие размышления. Мне доклад понравился и я решил поделиться саммари с основными мыслями

1) AI как трансформационная технология Эндрю сравнивает AI с "новым электричеством", подчеркивая его потенциал для создания прорывных приложений. Основной фокус смещается к прикладному уровню, где генерируется основная ценность, благодаря возможности быстрого прототипирования (создание MVP за дни вместо месяцев). 2) Эволюция стек-технологий ИИ Выделены три слоя: - Инфраструктура - полупроводники, облачные платформы - Базовые модели - trainings, foundation models - Application слой - быстрорастущий сегмент с примерами вроде чат-ботов и автоматизированных рабочих процессов 3) Gen AI как катализатор Создание приложений с AI возможностями в некоторых случаях ускорилось в 100 раз: создание приложений типа распознавания речи или анализа изображений теперь занимает 3 дня вместо года. Ключевой вызов - оценка эффективности моделей, где внедряются параллельное тестирование и автоматизированные циклы обратной связи. 4) Агентские рабочие процессы — новая парадигма Представлены 4 шаблона проектирования: - Reflecation: Итеративное улучшение кода через автоматизированную критику (пример: генерация Python-скрипта с проверкой юнит-тестами). - Tool use (API calls): Интеграция с внешними сервисами (возврат платежей, отправка email). - Planning (decide on steps for task): Последовательное выполнение сложных задач (генерация изображения → анализ позы → коррекция). - Multi-agent collaboration: Коллаборация специализированных агентов (аналитик + дизайнер + тестировщик). 5) Vision Agent - кейс применения Платформа Landing AI демонстрирует:

• Автоматическую индексацию видео с выделением ключевых кадров (пример: поиск "лыжник в воздухе" среди 10 часов записи).
• Распознавание контекста: Поиск объектов по сложным описаниям ("черный чемодан с царапиной у ручки").
• Генерацию метаданных для тренировки custom-моделей. 6) Тренды будущего
• Революция в обработке изображений/видео по аналогии с текстовым ИИ.
• Рост мультимодальных агентов, способных комбинировать текст, изображения и API-вызовы.
• Смена парадигмы разработки: смещение от hand-coded алгоритмов к оркестровке автономных агентов.

В заключении своего рассказа Эндрю призывает разработчиков экспериментировать с агентскими фреймворками, прогнозируя взрывной рост приложений в компьютерном зрении и мультимедийной аналитике. Ключевой месседж: "Сейчас лучшее время создавать ИИ-продукты, где 90% работы выполняют агенты, а люди фокусируются на высокоуровневом дизайне".

#AI #ML #Engineering #Software #Architecture #SystemDesign #DistributedSystems