Large Language Models: Friend, Foe, or Otherwise • Alex Castrounis • GOTO 2023

Интересное keynote выступление про LLM от Alex Castrounis на goto конференции в Чикаго, основвателя и CEO "Why of AI" и автор книги "AI for People and Business". В самом выступлении автор обсуждает следующие момент

• AI today - как выглядит искусственный интеллект сегодня, как он пересекается с machine learning, нейронными сетями и deep learning. Здесь же он показывает статистику из Google Trends поиска artificial intelligence, machine learning и chatgpt, причем последний термин в 10 раз популярнее, чем два предыдущих. Кто-то боится появления AGI, кто-то боится исчезнования рабочичх мест, а кто-то спешит интегрировать LLM себе в продукты и оптимизировать работу
• What does a positive AI future look like? - про важность понимания того, как AI работает для того, чтобы не бояться неизвестного:)
• Capabilities - пример того, что LLM умеет сейчас. Здесь автор рассказывает про Hhugging Face и их библиотеку того, что умеет ML сейчас
• What about coding? - обсуждение написания кода,
• Evolution - тут автор обсуждает ключевые статьи и результаты -- 2017 - Attention is All You Need (Ключевая статья про трансформеры) -- 2019 - Language Models are Unsupervised Multitask Learners (OpenAI paper, gpt2 whitepaper) -- 2020 - Language Models are Few-Shot Learners (OpenAI paper, gpt3 whitepaper) -- 2022 - Training language models to follow instructions with human feedback (OpenAI использовали этот подход для создания chatGPT) -- TBD
• Overview - общий обзор NLP (natural language programming), семантику слов, контекст, и так далее. Тут автор говорит про word embeddings, архитектуру трансформеров (encode и decode части), про RNN (recurrent neural network) и возвращается к GPT-3/4, BERT, BART, T5.
• Tools - дальше автор говорит о том, как LLM применяются для написания кода на примере Copilot (все-таки goto - это конференция по программированию:) )
• Pitfalls & concerns - здесь автор говорит про common sense, reasoning, причинность, планирование и так далее
• Why are LLMs beneficial? - они помогают нам делать те вещи, в которых мы не так хороши или которые требуют много времени
• The future of work - размышления на тему того, а отнимут ли LLM работу у людей или нет:)
• AI won't take your job, someone using AI will - финальная мысль ращмышления про работу
• Focus on & master what AI can't do - совет что стоит прокачивать сейчас

#ML #DataScience #Software #SoftwareDevelopment #Conference #AI