Why AI Is Incredibly Smart — and Shockingly Stupid Yejin Choi TED

Интересное выступление Yejin Choi про LLM и GPT модели от OpenAI на тему того, что они уже умеют и куда копать дальше. Основной посыл выступления про то, что размер моделей дал толчок к тому, чтобы большие языковые модели начали деонстрировать вспышки AGI (artificial general intelligence), но в них не хватает понимания common sense. Но эта штука напоминает dark matter из космологии, когда большая часть материи не видна, но влияет на то, что мы можем увидеть и воспринять напрямую. Собственно, у common sense похожее положение в области AI и в конце автор говорит о том, что language models != knowledge models и ее группа занимается созданием механизмов symbolic knowledge distillation, при прохождении через которую LLM-моделей они генерируют "human-inspectable, symbolic, common-sense knowledge representation", которую можнно изучать, корректировать и использовать для обучения других моделей.

#AI #ML