Как устроены фундаментальные модели

Качество foundation model начинается с корпуса. Английский доминирует в веб-данных, поэтому на менее представленных языках модель обычно отвечает хуже, а токенизация может сделать тот же запрос дороже. Перевод запроса на английский помогает не всегда: смысл и культурный контекст теряются, а слабые данные ухудшают и сам перевод. Аналогичное ограничение действует по доменам. Общедоступные темы модель усваивает из интернета, но медицинские изображения, внутренние документы и другие закрытые данные требуют специализированного набора, fine-tuning или контекста во время запроса. Это делает выбор модели эмпирической задачей: одинаковый рейтинг на английском не гарантирует одинакового результата на русских договорах или профессиональном жаргоне. Команде нужен срез собственных запросов с редкими терминами, длинными документами и неоднозначными формулировками. Стоимость следует считать после реальной токенизации, а не по числу видимых символов.

Мультимодальность добавляет ещё один практический выбор представления. В приведённом примере классификация сайта по скриншоту оказалась точнее анализа извлечённого текста, хотя работала та же модель. Поэтому для реального сценария стоит сравнивать текст, изображение и их комбинацию, а не считать текст естественно лучшим входом. Одновременно синтетические данные становятся способом расширять дефицитный корпус, но создают риск замкнутого цикла: если машинный контент без контроля возвращается в обучение, объём растёт быстрее качества и модель может постепенно деградировать. Представление сохраняет разные сигналы: текст облегчает поиск слов, изображение передаёт расположение, иерархию и визуальные отношения. Комбинация полезна, когда задача зависит от обоих слоёв, но увеличивает стоимость и число возможных отказов. Синтетические примеры стоит маркировать происхождением и проверять на независимых реальных данных, иначе система начинает подтверждать собственные упрощения.

Рекуррентные sequence-to-sequence-модели последовательно сжимали вход в скрытое состояние и так же последовательно строили выход, теряя детали и ограничивая параллелизм. Transformer обрабатывает токены параллельно, а attention назначает контексту разные веса через query, key и value. Внутри блока к механизму внимания добавляется feed-forward MLP; глубина, размер скрытого представления, словарь и контекстное окно задают возможности и стоимость модели. Альтернативным архитектурам трудно конкурировать не только по идее, но и с годами оптимизации трансформеров, библиотек и железа. Attention не означает, что модель «понимает» документ как человек: он вычисляет связи между представлениями токенов внутри доступного окна. Чем окно длиннее, тем дороже обработка и тем важнее расположение нужного фрагмента. Поэтому retrieval и структура входа остаются продуктовой инженерией даже при росте контекста.

Масштаб модели нужно согласовывать с объёмом обучения и доступными вычислениями: больше параметров без достаточного числа токенов не гарантирует лучший результат, а размер напрямую влияет на память и стоимость инференса. Но pre-training учит прежде всего продолжать текст. Supervised fine-tuning превращает это умение в ответы на инструкции, а обучение на человеческих предпочтениях настраивает полезность и приемлемое поведение. Такие данные дороги и зависят от компетенции и культуры разметчиков; сравнить два ответа обычно проще, чем написать идеальный, поэтому ранжирование становится важным источником обратной связи. На каждом этапе меняется не только среднее качество, но и характер ошибок. Модель после настройки охотнее следует формату и выглядит убедительнее, поэтому фактическая ошибка может стать менее заметной. Продуктовая оценка должна отдельно проверять знания, послушность, отказ и устойчивость, а не переносить успех одного этапа на все свойства системы.

На выходе модель имеет logits для словаря и превращает их в распределение вероятностей. Temperature сглаживает или заостряет его: низкое значение повышает повторяемость, высокое — разнообразие. Top-k ограничивает выбор фиксированным числом кандидатов, а top-p набирает динамический набор токенов до заданной суммарной вероятности, лучше приспосабливаясь к простым и открытым вопросам. Можно потратить больше вычислений, сгенерировать несколько ответов и выбрать лучший; смысл этого приёма зависит от устойчивости модели и наличия надёжного оценщика. Повторный запуск полезен только тогда, когда варианты действительно независимы и критерий выбора лучше случайности. Если один и тот же судья разделяет смещение генератора, дополнительные кандидаты умножают стоимость, но не исправляют системную ошибку. Стратегию sampling поэтому тестируют вместе с селектором и бюджетом полного ответа.

Ограниченное декодирование помогает получать допустимую структуру, но формат тоже влияет на надёжность: в практическом примере переход от JSON к YAML уменьшил обрывы длинного ответа. Ни эта техника, ни низкая temperature не устраняют галлюцинации. Ошибочное первое предположение может вызвать последовательность убедительных, но неверных выводов, а preference tuning иногда делает ответ более привлекательным ценой фактической точности. Поэтому параметры генерации выбирают по цене ошибки: творческому сценарию полезна вариативность, медицинскому, финансовому или юридическому нужны ограничения, проверка и человеческая ответственность. Формальная схема гарантирует синтаксис, но не истинность заполненных полей. Надёжный контур проверяет обязательность, допустимые значения и связи с внешним источником отдельно. Чем выше цена ошибки, тем меньше модель должна сама определять критерий успеха и тем яснее должен быть путь передачи решения человеку.