Exclusive: the most-cited papers of the twenty-first century (Рубрика Science)

Интересная статья от Nature, в которой авторы попробовали подсчитать самые цитируемые статьи 21 века. Точно подсчитать было довольно сложно, так как существует целая пачка ресурсов, что считают цитирования по своему, но авторы взяли взвешенный подход. Кроме того, в области computer science и ML довольно часто авторы сначала публикуют препринты, а потом эти же статьи публикуются по итогам конференций, в итоге, часто ссылки на препринт версии не учитываются при расчетах цитируемости основной статьи.

Из интересного можно отметить, что в 25 лучших статей попало много ML статей, вот их список с занимаемыми ими местами 1. Deep Residual Learning for Image Recognition (ResNet), (2016), He, K., Zhang, X., Ren, S., & Sun, J. Эта статья описывает архитектуру ResNet, которая описывает архитектуру нейросетей с примерно 150 слоями - примерно в 5 раз больше, чем было принято ранее. Эта архитектура позволила преодолеть проблему затухания сигнала при увеличении числа слоев, что стало прорывом для развития глубокого обучения и последующих достижений в ИИ, таких как AlphaGo, AlphaFold и ChatGPT. 6. Random forests ,(2001), Leo Breiman Эта работа представляет алгоритм машинного обучения, который существенно улучшил предыдущие методы ансамблей деревьев решений. В этой работе описан новый способ построения ансамбля: множество независимых деревьев решений обучаются на случайных подвыборках данных и случайных подмножествах признаков, а итоговое решение принимается большинством голосов (для классификации) или усреднением (для регрессии) 7. Attention Is All You Need, (2017), Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin В этой статье исследователи из Google представили архитектуру Transformer, которая произвела революцию в обработке естественного языка и других последовательных данных. Главной инновацией стал отказ от рекуррентных нейронных сетей в пользу механизма self-attention (самовнимания), позволяющего модели определять важность каждого элемента последовательности относительно других и учитывать контекст на любом расстоянии. 8. ImageNet Classification with Deep Convolutional Neural Networks (2012), Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton В этой статье описывалась архитектура AlexNet - глубокая сверточная нейронная сеть (CNN), которая совершила прорыв в компьютерном зрении, победив в конкурсе ILSVRC-2012 с ошибкой top-5 в 15.3% против 26.2% у ближайшего конкурента. AlexNet продемонстрировал, что глубокие CNN, обученные на больших данных, способны распознавать объекты с высокой точностью даже без ручной настройки признаков, заложив основы современного глубокого обучения 12. U-Net: Convolutional Networks for Biomedical Image Segmentation (2015), Olaf Ronneberger, Philipp Fischer, Thomas Brox Эта статья представила революционную архитектуру для сегментации биомедицинских изображений, сочетающую кодирующий путь (свёрточные слои для извлечения признаков) и симметричный декодирующий путь (транспонированные свёртки для восстановления разрешения), соединённые skip-связями для сохранения пространственной информаци 16. Deep learning (2015), Yann LeCun, Yoshua Bengio, Geoffrey Hinton Обзорная статья про глубокое обучение от корифеев этой темы 24. ImageNet: A large-scale hierarchical image database (2009), Jia Deng; Wei Dong; Richard Socher; Li-Jia Li; Kai Li; Li Fei-Fei Статья описывает создание масштабной базы данных изображений ImageNet, организованной по иерархии WordNet. Цель проекта - собрать для большинства из 80 000 синсетов WordNet по 500–1000 полноразмерных и тщательно размеченных изображений, что обеспечивает десятки миллионов аннотированных примеров. Интересно, что в 8 статье AlexNet показывала свои топ-результаты как раз обучаясь на ImageNet.

P.S. Кстати, если посмотреть на остальные топ-статьи, то там много статей про медицину в общем и рак в частности, а также про софт, который использовался для ведения исследований.

#Science #ML #AI #Software #Engineering