Основы глубокого обучения (Fundamentals of Deep Learning) (Рубрика AI)

Недавно я дочитал первое изданние этой книги, что вышла на английском еще в далеком 2017 году:) Автор в 20 лет закончил MIT, в 2016 стартанул компанию Remedy для применения ИИ в здравоохранении, а в 2020 году - Ambience Healthcare, разрабатывающую «ambient AI» платформу, помогающую врачам автоматизировать рутинную документацию. Еще он известен в сообществе ИИ как автор одной из первых популярных книг по глубокому обучению.

Если говорить про книгу, то я прикупил ее лет 5 назад, потому, что мне понравилось доступность изложения, я полистал ее, а потом отложил, прочитав половину книги и дальше никак не мог дочитать. За время "чтения" вышло второе обновленное издание книги в мае 2022 года, а я дочитал ее только вчера. В первом издании книги хорошо раскрыты многие начальные моменты и "state of the art" до момента появления "Attention is all you need", поэтому с одной стороны она серьезно подустарела, а с другой она неплохо охватывает уже классические темы от основ математического аппарата до построения и обучения разных типов нейросетей. В начале рассматриваются необходимые элементы линейной алгебры и теории вероятностей, после чего вводится понятие нейронных сетей и алгоритм обратного распространения ошибки. После этотго автор знакомит читателей с классическими архитектурами: полносвязные сети и вопросы их обучения (градиентный спуск, проблема переобучения и т.п.), сверточные нейронные сети для анализа изображений, модели для анализа последовательностей (рекуррентные сети, обработка естественного языка), а также методы снижения размерности (например, автоэнкодеры). Отдельные главы посвящены генеративным моделям (включая основы GAN/Variational Autoencoder), интерпретируемости моделей и даже обсуждаются базовые идеи обучения с подкреплением.

Книга носит прикладной характер: ключевые идеи подкреплены примерами кода на Python. В первом издании (2017) для иллюстраций использовалась библиотека TensorFlow, а во втором издании 2022 года примеры обновлены на PyTorch (что отражено в добавленной главе об имплементации сетей в PyTorch). Код примеров открыт - читатель может не только изучить теорию, но и сразу попробовать реализовать основные модели нейросетей своими руками.

В целом, тематический охват книги достаточно широкий, позволяя получить цельное представление о глубоком обучении: от базовой математики до основных типов нейросетевых архитектур и их применения на практике. В 2017 году книга была хорошо принята аудиторией и общее мнение было таким, что Будума смог объяснить сложные вещи простым языком. Но если говорить про актуальность информации, то даже второе издание не содержит обзора cutting-edge технологий 2020-х годов. С другой стороны, имея фундаментальные знания из "Основ глубокого обучения", читателю будет гораздо легче освоить и трансформеры по материалам интернета или специализированным главам других книг. В общем, для начинающих второе издание книги от 2022 года может быть полезно.

#AI #ML #Data #Engineering #Software