Hello Deep Learning • Bert Hubert • GOTO 2023
Интересное выступление Bert Hubert с рассказом про Deep Learning на пальцах. Сам Bert достаточно известный товарищ, который является немного ученым, разработчиком и предпринимателем. Забавно, как вначале он говорит, что много лет игнорировал хайп вокруг deep learning, отчасти потому что также яро проповедовали и blockchain, который оказался пшиком. Но после появления chatGPT игнорировать глубокое обучение уже было нельзя и он решил погрузиться в этот домен. Для этого он выбрал подход, что похож на "Kubernetes the hard way" от Kelsey Hightower. Для этого Берт взял стандартную задачу по распознаванию цифр и решил ее решить с нуля:) А дальше он кратко рассказал про
- Статью Attention is all you need
- NIST и его подборку рукописных цифр как базу для обучения
- Подход втупую через вычитание значений пикселей для 3 и 7 между собой и ручное разделение множеств
- Дальше усложняем с перемножением на рандомную матрицу
- Дальше добавляем функцию потерь (loss function)
- Переход к трем слоям для классификации цифр по десяти категориям
- Добавление нелинейности при перемножениях (ReLU и GELU)
- Добавление градиентов для обучения коэффициентов модели и получение хороших результатов
- Добавление шума в исходные данные и получение полного треша в качестве результатов от обученной модели и дальше автор говорит следующее
Production use of a neural network tends to go through these four phases (if you are lucky):
It works on the training data
It also works on the validation data
After a lot of disappointment, we get it to work on other people’s real life data too
Other people can get it to work on their own data as well
Almost all demos declare victory after phase 2.
И дальше автор делает финальные выводы по выступлению
- Deep learning реально
- Deep learning позволяет получать магические результаты
- Deep learning не является волшебным и обманчиво простым
- Все еще можно попасть на борт этого корабля:)
В итоге, автор предлагает не опираться на внешние API облачных сервисов, а делать свои продукты поверх решений, доступных on-premise.
Автор предлагает посмотреть на следующие материалы
- Whisper.cpp: state of the art voice transcription in dozens of languages, entirely self-contained on your own computer/phone: https://github.com/ggerganov/whisper.cpp
- LlaMA “GPT-like”, self-contained, own computer etc: https://github.com/ggerganov/llama.cpp
- https://berthub.eu/articles/posts/hello-deep-learning/ - the series behind this presentation, https://github.com/berthubert/hello-dl
- https://berthub.eu/articles/posts/ai-is-guaranteed-to-disrupt-us/
#ML #DataScience #Data #Math #Software #SoftwareDevelopment #Engineering