统计了近三年引用量最高的 100 篇论文，我们发现……
谁在发表最具影响力的 AI 研究？在如今「百花齐放」的时代，这个问题极具挖掘空间。你可能会猜到一些结论：比如谷歌、微软、OpenAI、DeepMind 这些顶级机构，类似这样的结论只猜对了一半，还有另外一些信息，向我们揭露了原本不为人知的结论。随着 AI 创新的飞速发展，尽快获取一些「情报」是至关重要的。毕竟几乎没人有时间去阅读所有的东西，但可以肯定的是，本文整理的这些论文具备改变人工智能技术发展方向的潜力。对研发团队影响力的真正考验当然是技术如何落地在产品中，OpenAI 在 2022 年 11 月底发布了 ChatGPT，震撼了整个领域，这是继他们 2022 年 3 月的论文「利用人类反馈训练遵循指令的语言模型」（Training language models to follow instructions with human feedback）之后的又一次突破。如此迅速的产品落地是罕见的。所以，为了洞察到更多信息，近日，Zeta Alpha 的统计采用了一个经典的学术指标：
引用次数。对 2022 年、2021 年和 2020 年每年被引用次数最多的 100 篇论文的详细分析，可以深入了解目前发表最具影响力的 AI 研究的机构和国家 / 地区。一些初步结论是：美国和谷歌仍然占主导地位，DeepMind 在这一年也取得了辉煌的成就，但考虑到产出量，OpenAI 在产品影响和研究方面确实处于前列，并能快速和广泛地被引用。
资料来源：Zeta Alpha。如上图所示，另外一个重要结论是：中国在研究引用量上的影响力排行第二，但与美国相比仍存在差距，并不像很多报道中描述的那样「追平甚至超越」。利用来自 Zeta Alpha 平台的数据，然后结合人工策划，本文收集了 2022 年、2021 年和 2020 年人工智能领域被引用次数最多的论文，并分析了作者的所属机构和国家 / 地区。这使得能够按照研发影响而不是纯粹的出版数据对这些论文进行排名。为了创建分析结果，本文首先在 Zeta Alpha 平台上收集了每年被引用次数最多的论文，然后手动检查首次发表日期（通常是 arXiv 预印本），以便将论文放在正确的年份中。然后通过在 Semantic Scholar 上挖掘高引用率的人工智能论文来补充这个名单，因为 Semantic Scholar 的覆盖面更广，而且能够按引用次数排序。这主要是发现了来自高影响力的出版商（如 Nature、Elsevier、Springer 和其他期刊）之外的论文。然后，将每篇论文在谷歌学术上的引用次数作为代表指标，并按这个数字对论文进行排序，得出一年中的前 100 名。对于这些论文，本文使用了 GPT-3 来提取作者、隶属机构和国家 / 地区，并手动检查这些结果（如果国家 / 地区在出版物中不明显，就采用该组织总部所在的国家 / 地区）。如果一篇论文有来自多个机构的作者，每个机构算一次。看了这份排行榜之后，大佬 Yann LeCun 表示很欣慰：「在 Meta AI，我们倾向于出版质量而不是数量。这就是为什么在 2022 年被引用最多的 100 篇人工智能论文中，Meta AI 撰写（或共同撰写）了 16 篇，仅次于谷歌的 22 篇，排名第二。我们的研究正在对社会产生巨大的影响。(此外，纽约大学的排名也很赞）。」
所以，刚才谈论的这些 Top 论文有哪些？在深入了解这些数字之前，让我们先了解一下过去三年的热门论文。相信你会认出其中的几篇。2022 年热门论文
1、AlphaFold Protein Structure Database: massively expanding the structural coverage of protein-sequence space with high-accuracy models
- 论文链接：https://academic.oup.com/nar/article/50/D1/D439/6430488
- 机构：DeepMind
- 引用次数：1372
- 主题：Using AlphaFold to augment protein structure database coverage.
2、ColabFold: making protein folding accessible to all
- 论文链接：https://www.nature.com/articles/s41592-022-01488-1
- 引用次数：1162
- 主题：An open-source and efficient protein folding model.
3、Hierarchical Text-Conditional Image Generation with CLIP Latents
- 论文链接：https://arxiv.org/abs/2204.06125
- 机构：OpenAI
- 引用次数：718
- 主题：DALL・E 2, complex prompted image generation that left most in awe
4、A ConvNet for the 2020s
- 论文链接：https://arxiv.org/abs/2201.03545
- 机构：Meta，UC 伯克利
- 引用次数：690
- 主题：A successful modernization of CNNs at a time of boom for Transformers in Computer Vision
5、PaLM: Scaling Language Modeling with Pathways
- 论文链接：https://arxiv.org/abs/2204.02311
- 机构：谷歌
- 引用次数：452
- 主题：Google's mammoth 540B Large Language Model, a new MLOps infrastructure, and how it performs
2021 年热门论文1、《Highly accurate protein structure prediction with AlphaFold》
- 论文链接：https://www.nature.com/articles/s41586-021-03819-2
- 机构：DeepMind
- 引用次数：8965
- 主题：AlphaFold, a breakthrough in protein structure prediction using Deep Learning
2、《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》
- 论文链接：https://arxiv.org/abs/2103.14030
- 机构：微软
- 引用次数：4810
- 主题：A robust variant of Transformers for Vision
3、《Learning Transferable Visual Models From Natural Language Supervision》
- 论文链接：https://arxiv.org/abs/2103.00020
- 机构：OpenAI
- 引用次数：3204
- 主题：CLIP, image-text pairs at scale to learn joint image-text representations in a self supervised fashion
4、《On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?》
- 论文链接：https://dl.acm.org/doi/10.1145/3442188.3445922
- 机构：U. Washington, Black in AI, The Aether
- 引用次数：1266
- 主题：Famous position paper very critical of the trend of ever-growing language models, highlighting their limitations and dangers
5、《Emerging Properties in Self-Supervised Vision Transformers》
- 论文链接：https://arxiv.org/pdf/2104.14294.pdf
- 机构：Meta
- 引用次数：1219
- 主题：DINO, showing how self-supervision on images led to the emergence of some sort of proto-object segmentation in Transformers
2020 年热门论文1、《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》
- 论文链接：https://arxiv.org/abs/2010.11929
- 机构：谷歌
- 引用次数：11914
- 主题：The first work showing how a plain Transformer could do great in Computer Vision
2、《Language Models are Few-Shot Learners》
- 论文链接：https://arxiv.org/abs/2005.14165
- 机构：OpenAI
- 引用次数：8070
- 主题：This paper does not need further explanation at this stage
3、《YOLOv4: Optimal Speed and Accuracy of Object Detection》
- 论文链接：https://arxiv.org/abs/2004.10934
- 机构：Academia Sinica, Taiwan
- 引用次数：8014
- 主题：Robust and fast object detection sells like hotcakes
4、《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》
- 论文链接：https://arxiv.org/abs/1910.10683
- 机构：谷歌
- 引用次数：5906
- 主题：A rigorous study of transfer learning with Transformers, resulting in the famous T5
5、《Bootstrap your own latent: A new approach to self-supervised Learning》
- 论文链接：https://arxiv.org/abs/2006.07733
- 机构：DeepMind，Imperial College
- 引用次数：2873
- 主题：Showing that negatives are not even necessary for representation learning
