Quantifying large language model usage in scientific papers (Рубрика Science)
Интересный whitepaper про использование LLM в написании научных статей. Я наткнулся на него через рассылку для членов ACM (Association for Computing Machinery), где была ссылка на новость в Science о том, что что примерно одна пятая научных статей в области компьютерных наук включает в себя тексты, сгенерированные при помощи ИИ. Я решил заглянуть в оригинальную статью, чтобы понять как выглядела методология и какие были результаты. В итоге, получилось примерно следующее
- Это был масштабный анализ ~1.1M препринтов и опубликованных статей с января 2020 по сентябрь 2024 (arXiv, bioRxiv, журналы Nature)
- По результатам анализа найден стабильный рост использования LLM, особенно в области компьютерных наук — до 22 % статей содержат AI‑модифицированный текст
- А вот с математикой не все так гладко - AI модификаций примерно в 2 раза ниже
- Модифицированные статьи имеют общие черты - они короткие, написаны в популярных исследовательских доменах, а также их авторы активно публикуют препринты (что не проходят ревью)
Если поразмышлять об этом, то последствия видятся такими
- Научные работы будут появляться быстрее, но будут как близняшки - авторы, использующие LLM, выбирают разработанные области, в которых уже много наработок и проще получать статьи похожие на настоящие. По итогу, предвижу падение соотношения сигнал/шум в таких доменах
- Для повышения доверия можно легализовать использование AI, если договориться о правилах использования и разметки частей, к которым LLM приложили свои ручки
- Давление на инфраструктуру публикаций будет увеличиваться и ручные ревьюверы публикаций справляться не будут - вангую, что скоро автоматизируют ревью и поручат их особо умным LLM, которые смогут готовить анализ новых whitepaper в рецензируемых научных журналах. В лучшем случае тут останутся scientists in the loop, чтобы ревьювить ревью агентов-ревьюверов. А может получиться так, что и статьи и рецензии будут писать LLM агенты:)
#Science #AI #Whitepaper #Humor