Developing Apps with GPT-4 and ChatGPT: Build Intelligent Chatbots, Content Generators, and More (Разработка приложений на базе GPT-4 и ChatGPT) (Рубрика AI)

Во второй день отпуска я прочитал коротенькую книгу 2023 года про создание приложений с использованием GPT (Generative pre-trained transformers), которая отлично подходит для новичков или тех, что пропустили последние пару лет хайпа относительно LLM (large language models). Эта книжка максимально простая и практичная, в ней всего пять глав и вот какие они

1) Обзор GPT-4 и ChatGPT - здесь авторы рассказывают в паре слов про NLP (natural language processing), вспоминают про появление трансформеров после ключевой статьи "Attention Is All You Need" от ребят из Google, а дальше про развитие этой идеи от OpenAI и появление серии моделей GPT-X, где X пока от одного до четырех. Дальше авторы показывают варианты использования LLM (от компаний Khan Academy, Duolingo, Morgan Stanley, Waymark, ...). А заканчивается глава рассказом про галлюцинации AI и возможностью их тюнинга под задачи (fine tuning) 2) Глубокое погружение в GPT-4 и API ChatGPT - здесь авторы рассказывают про API для использования OpenAI и речь идет про получение ключа доступа, использования playground или библиотеки. Дальше они переходят к рассказу о том, какие модели есть (это уже устарело), рассказывают про формат API и показывают как его использовать из python кода, а потом говорят про схему ценообразования и безопасность моделей. 3) Создание приложений с помощью GPT-4 и ChatGPT - эта глава посвящена проектированию приложений и авторы немного говорят о принципах, где нам стоит анализировать входные и выходные данные для защиты от атак вида prompt Injection, а дальше идет демонстрация простеньких приложений

• Генератора новостей
• Краткого саммари видео с Youtube на основе transcripts
• Ассистента для видеоигры, который сможет отвечать на вопросы по лору и справочникам об игре
• Голосового управления с простеньким набором функций 4) Передовые технологии GPT-4 и ChatGPT - здесь авторы рассказывают про prompt engineering, а точнее про то, как писать эффективные промпты, как попросить LLM пошагово двигаться по процессу, реализовать few-shot learning с примерами в промпте, а также как еще сложнее спроектировать промт для решения задачи. Вторая половина главы посвящена fine tunning моделей OpenAI, которые позволяют доучить модель на ваших данных, но сильно поднимает стоимость использования API. Демонстрация fine tuning модели сделана на примере создания приложения для генерации писем для email маркетинга:) 5) Расширение возможностей LLM с помощью LangChaing Framework и плагинов - эта глава пожалуй наиболее интересна и посвящена фреймворку LangChain, который позволяет создавать мощные приложения. Интересно, что в этой же главе рассказывается про плагины, которые в дальнейшем были заменены на GPTs, кастомные версии chatGPT, которые может сделать любой для решения специфических задач. И в начале 2024 года появился магазин GPTs Store для этих моделей. А вот LangChain с тех пор прокачался еще сильнее:)

В общем, эта книга дает базовые представления о создании приложений с использованием LLM, но сама область настолько быстро развивается, что книга годовой давности уже кажется анахронизмом:)

#AI #ML #DataScience #Data #Engineering