MERA митап по бенчмаркам (Рубрика AI)

15 апреля в 17.00 MERA и Альянс в сфере ИИ приглашают в офис Т-Банка на митап по бенчмаркам во всех их формах и проявлениях.

Хедлайнеры программы — сами авторы бенчмарка MERA, де-факто стандарта для автоматического тестирования русскоязычных LLM, и создатели российской LLM Arena, главной платформы для сравнения моделей в реальном времени. 

Организаторы митапа обещают поговорить о том:

• как устроены бенчмарки для текстовых и мультимодальных моделей;
• что учитывать при проверке LLM на качество написания кода; как сравнивать друг с другом специализированные ML-модели.

После докладов участники митапа смогут расспросить спикеров о планах по развитию проектов и предложить свои ответы на открытые вопросы, которых в области бенчмарков становится больше с каждым днем.

Количество мест ограничено, трансляции не будет, записи скорее всего тоже. В общем, регистрируйтесь.