Understanding Foundation Models

Второй выпуск посвящён устройству foundation models: данным, доменным знаниям, мультимодальности и эволюции от RNN к трансформерам.

Разбираем attention, контекстное окно, MLP-блоки, ограничения ресурсов и стадии обучения модели.

Финальная часть — про SFT, RLHF, стратегии сэмплирования, природу галлюцинаций и стоимость ошибок в разных сценариях.