2020年人工智能十大进展
2020年，AI热潮仍然汹涌，应用前景依然广阔。在这样一个时间节点，我们从科学、系统、算法等层面总结出AI领域的十大进展，分别如下：
- 进展1：OpenAI发布全球规模最大的预训练语言模型GPT-3
- 进展2：DeepMind的AlphaFold2破解蛋白质结构预测难题
- 进展3：深度势能分子动力学研究获得戈登·贝尔奖
- 进展4：DeepMind等用深度神经网络求解薛定谔方程促进量子化学发展
- 进展5：美国贝勒医学院通过动态颅内电刺激实现高效“视皮层打印”
- 进展6：清华大学首次提出类脑计算完备性概念及计算系统层次结构
- 进展7：北京大学首次实现基于相变存储器的神经网络高速训练系统
- 进展8：MIT仅用19个类脑神经元实现控制自动驾驶汽车
- 进展9：Google与Facebook团队分别提出全新无监督表征学习算法
- 进展10：康奈尔大学提出无偏公平排序模型可缓解检索排名的马太效应问题
01
GPT-3
进展1：OpenAI发布全球规模最大的预训练语言模型
2020年5月，OpenAI发布了迄今为止全球规模最大的预训练语言模型GPT-3。GPT-3具有1750亿参数，训练所用的数据量达到45TB，训练费用超过1200万美元。
对于所有任务，应用GPT-3无需进行任何梯度更新或微调，仅需要与模型文本交互为其指定任务和展示少量演示，即可使其完成任务。GPT-3在许多自然语言处理数据集上均具有出色的性能，包括翻译、问答和文本填空任务，还包括一些需要即时推理或领域适应的任务等，已在很多实际任务上大幅接近人类水平。
NLP预训练模型参数对比
相关链接：
https://openai.com/blog/openai-api/
02
AlphaFold2
进展2：DeepMind的AlphaFold2破解蛋白质结果预测难题
2020年11月30日，Google旗下DeepMind公司的AlphaFold2人工智能系统在第14届国际蛋白质结构预测竞赛(CASP)中取得桂冠，在评估中的总体中位数得分达到了92.4分，其准确性可以与使用冷冻电子显微镜(CryoEM)、核磁共振或X射线晶体学等实验技术解析的蛋白质3D结构相媲美，有史以来首次把蛋白质结构预测任务做到了基本接近实用的水平。
《自然》杂志评论认为，AlphaFold2算法解决了困扰生物界“50年来的大问题”。
蛋白质折叠
相关链接：https://deepmind.com/blog/article/alphafold-a-solution-to-a-50-year-old-grand-challenge-in-biology
03
分子动力学
进展3：深度势能分子动力学研究获得戈登·贝尔奖
2020年11月19日，在美国亚特兰大举行的国际超级计算大会SC20上，包括智源学者王涵(北京应用物理与计算数学研究院)在内的“深度势能”团队，获得了国际高性能计算应用领域最高奖项“戈登·贝尔奖”。“戈登·贝尔奖”设立于1987年，由美国计算机协会(ACM)颁发，被誉为“计算应用领域的诺贝尔奖”。
该团队研究的“分子动力学”，结合了分子建模、机器学习和高性能计算相关方法，能够将第一性原理精度分子动力学模拟规模扩展到1亿原子，同时计算效率相比此前人类最好水平提升1000倍以上，极大地提升了人类使用计算机模拟客观物理世界的能力。美国计算机协会(ACM)评价道，基于深度学习的分子动力学模拟通过机器学习和大规模并行的方法，将精确的物理建模带入了更大尺度的材料模拟中，将来有望为力学、化学、材料、生物乃至工程领域解决实际问题(如大分子药物开发)发挥更大作用。
论文地址：https://arxiv.org/abs/2005.00223
04
薛定谔方程
进展4：DeepMind等用深度神经网络求解薛定谔方程，促进量子化学发展
作为量子力学的基本方程之一，薛定谔方程提出已经有90多年的时间，但如何精确求解薛定谔方程，却一直困扰着许多科学家。
DeepMind开发的费米神经网络(Fermionic neural networks，简称FermiNet)来近似计算薛定谔方程，为深度学习在量子化学领域的发展奠定了基础，2020年10月，DeepMind开源了FermiNet，相关论文发表在物理学期刊Physical Review Research上。FermiNet是利用深度学习来从第一性原理计算原子和分子能量的尝试，在精度和准确性上都满足科研标准，且是目前在相关领域中较为精准的神经网络模型。
FermiNet示意图
另外，2020年9月，德国柏林自由大学的几位科学家也提出了一种新的深度学习波函数拟设方法，它可以获得电子薛定谔方程的近乎精确解，相关研究发表在Nature Chemistry上。该类研究所展现的，不仅是深度学习在解决某一特定科学问题过程中的应用，也是深度学习能在生物、化学、材料以及医药领域等各领域科研中被广泛应用的一个远大前景。
论文地址：https://deepmind.com/blog/article/FermiNet
05
视皮层打印
进展5：美国贝勒医学院通过动态颅内电刺激实现高效“视皮层打印”
对于全球4000多万盲人来说，重见光明是一个遥不可及的梦想。2020年5月，美国贝勒医学院的研究者利用动态颅内电刺激新技术，用植入的微电极阵列构成视觉假体，在人类初级视皮层绘制W、S和Z等字母的形状，成功地能够让盲人“看见”了这些字母。
结合马斯克创办的脑机接口公司Neuralink发布的高带宽、全植入式脑机接口系统，下一代视觉假体有可能精准刺激大脑初级视觉皮层的每一个神经元，帮助盲人“看见”更复杂的信息，实现他们看清世界的梦想。
论文地址：https://doi.org/10.1016/j.cell.2020.04.033
06
类脑计算完备性
进展6：清华大学首次提出类脑计算完备性概念及计算系统层次结构
2020年10月，包括智源学者张悠慧、李国齐、宋森等在内的清华大学研究团队首次提出“类脑计算完备性”概念以及软硬件去耦合的类脑计算系统层次结构，通过理论论证与原型实验证明该类系统的硬件完备性与编译可行性，扩展了类脑计算系统应用范围使之能支持通用计算。
该研究成果发表在2020年10月14日的《自然》(Nature)期刊。《自然》周刊评论认为，“‘完备性’新概念推动了类脑计算”，对于类脑系统存在的软硬件紧耦合问题而言这是“一个突破性方案”。
论文地址：https://www.nature.com/articles/s41586-020-2782-y
07
神经网络高速训练系统
进展7：北京大学首次实现基于相变存储器的神经网络高速训练系统
2020年12月，智源学者、北京大学杨玉超团队提出并实现了一种基于相变存储器(PCM)电导随机性的神经网络高速训练系统，有效地缓解了人工神经网络训练过程中时间、能量开销巨大并难以在片上实现的问题。
该系统在误差直接回传算法(DFA)的基础上进行改进，利用PCM电导的随机性自然地产生传播误差的随机权重，有效降低了系统的硬件开销以及训练过程中的时间、能量消耗。该系统在大型卷积神经网络的训练过程中表现优异，为人工神经网络在终端平台上的应用以及片上训练的实现提供了新的方向。该文章发表在微电子领域的顶级会议IEDM 2020上。
文章：Yingming Lu, Xi Li, Longhao Yan, Teng Zhang, Yuchao Yang*, Zhitang Song*, and Ru Huang*, Accelerated Local Training of CNNs by Optimized Direct Feedback Alignment Based on Stochasticity of 4 Mb C-doped Ge2Sb2Te5 PCM Chip in 40 nm Node. IEDM Tech. Dig. 36.3, 2020.
08
19个类脑神经元实现自动驾驶
进展8：MIT仅用19个类脑神经元实现控制自动驾驶汽车
受秀丽隐杆线虫等小型动物脑的启发，来自MIT计算机科学与人工智能实验室(CSAIL)、维也纳工业大学、奥地利科技学院的团队仅用19个类脑神经元就实现了控制自动驾驶汽车，而常规的深度神经网络则需要数百万神经元。此外，这一神经网络能够模仿学习，具有扩展到仓库的自动化机器人等应用场景的潜力。这一研究成果已发表在2020年10月13日的《自然》杂志子刊《自然·机器智能》(Nature Machine Intelligence)上。
论文地址：https://www.nature.com/articles/s42256-020-00237-3
09
全新无监督表征学习算法
进展9：Google与Facebook团队分别提出全新无监督表征学习算法
2020年初，Google与Facebook分别提出SimCLR与MoCo两个算法，均能够在无标注数据上学习图像数据表征。两个算法背后的框架都是对比学习(contrastive learning)。对比学习的核心训练信号是图片的“可区分性”。
模型需要区分两个输入是来自于同一图片的不同视角，还是来自完全不同的两张图片的输入。这个任务不需要人类标注，因此可以使用大量无标签数据进行训练。尽管Google和FaceBook的两个工作对很多训练的细节问题进行了不同的处理，但它们都表明，无监督学习模型可以接近甚至达到有监督模型的效果。
SimCLR 框架示意图
论文地址：https://ai.googleblog.com/2020/04/advancing-self-supervised-and-semi.html
10
无偏公平排序模型
进展10：康奈尔大学提出无偏公平排序模型，可缓解检索排名的马太效应问题
近年来，检索的公平性和基于反事实学习的检索和推荐模型已经成为信息检索领域重要的研究方向，相关的研究成果已经被广泛应用于点击数据纠偏、模型离线评价等，部分技术已经落地于阿里和华为等公司的推荐及搜索产品中。
2020年7月，康奈尔大学Thorsten Joachims教授团队发表了公平无偏的排序学习模型FairCo，一举夺得了国际信息检索领域顶会SIGIR 2020最佳论文奖。该研究分析了当前排序模型普遍存在的位置偏差、排序公平性以及物品曝光的马太效应问题等，基于反事实学习技术提出了具有公平性约束的相关度无偏估计方法，并实现了排序性能的提升，受到了业界的广泛关注和好评。
论文地址：https://arxiv.org/abs/2005.14713
2021人工智能十大趋势
在12月31日，智源研究院发布了 2020年十大 AI 进展。新的一年，人工智能又将走向何处？
2021年开年，全体智源学者经过深入研讨，从人工智能的基础理论、算法、类脑计算、算力支撑等方面进行预测，提出2021年人工智能十大技术趋势，共同展望人工智能的未来发展方向。
我们相信，随着人工智能技术的逐渐成熟，将能够更好地帮助人类应对后疫情时代的各种不确定性，助力构建充满希望与变化的世界。
趋势1：科学计算中的数据与机理融合建模
趋势2：深度学习理论迎来整合与突破
趋势3：机器学习向分布式隐私保护方向演进
趋势4：大规模自监督预训练方法进一步发展
趋势5：基于因果学习的信息检索模型与系统成为重要发展方向
趋势6：类脑计算系统从“专用”向“通用”逐步演进
趋势7：类脑计算从散点独立研究向多点迭代发展迈进
趋势8：神经形态硬件特性得到进一步的发掘并用于实现更为先进的智能系统
趋势9：人工智能从脑结构启发走向结构与功能启发并重
趋势10：人工智能计算中心成为智能化时代的关键基础设施
趋势1：科学计算中的数据与机理融合建模
机器学习与科学计算的结合，即数据和机理的融合计算，为科学研究提供了新的手段和范式，成为了前沿计算的典型代表。从机理出发的建模以基本物理规律为出发点进行演绎，追求简洁与美的表达；从数据出发的建模从数据中总结规律，追求在实践中的应用效果。这两方面的建模方法都在科学史中发挥了重要作用。
近年来，科学计算发展的一个重要趋势是由单纯基于机理或数据的范式向数据与机理的融合建模与计算发展。众多前沿科学领域中的许多重要问题常常涉及多个发生在不同时空尺度上相互耦合的物理过程，具有高度的各向异性、奇异性、非均匀性以及不确定性等特征。人类只能知道部分原理和数据，此时机理与数据结合的方式将成为研究这些问题的有力手段。
趋势2：深度学习理论迎来整合与突破
深度学习在应用领域取得了令人瞩目的成功，但其理论基础仍十分薄弱，研究者对深度学习为何表现出比传统机器学习方法更优越的性能背后存在的机理尚不清楚。深度学习的理论分析需要从数学、统计和计算的不同角度，以及表示能力、泛化能力、算法收敛性和稳定性等多个方面进行探索和创新。当前对深度学习理论碎片式的理解，将进一步迎来整合与突破，从对浅层网络和局部性质的理解向深度网络和全局性质不断深化，最终能够完整解答关于深度学习能力与极限的重大理论问题。
趋势3：机器学习向分布式隐私保护方向演进
当前，全球多个国家和地区已出台数据监管法规，如HIPAA(美国健康保险便利和责任法案)、GDPR(欧盟通用数据保护条例)等，通过严格的法规限制多机构间隐私数据的交互。分布式隐私保护机器学习通过加密、分布式存储等方式保护机器学习模型训练的输入数据，是打破数据孤岛、完成多机构联合训练建模的可行方案。
趋势4：大规模自监督预训练方法进一步发展
GPT-3的出现激发了研究人员在视觉等更广泛的范围内，对大规模自监督预训练方法继续开展探索和研究，未来，基于大规模图像、语音、视频等多模态数据，以及跨语言的自监督预训练模型将进一步发展，研究人员也将持续探索解决当前大规模自监督预训练模型不具有认知能力等问题的方法。
趋势5：基于因果学习的信息检索模型与系统成为重要发展方向
人工智能算法是推荐系统、搜索引擎等智能信息检索系统的核心技术，深刻地影响着亿万互联网产品用户的工作和生活。当前基于人工智能算法的信息检索模型大多关注给定数据中变量间相关性的建立，而相关性与更为本源的因果关系并不等价，导致当前信息检索的结果存在较为严重的偏差，对抗攻击的能力不佳，且模型往往缺乏可解释性。
为了实现真正智能化的信息检索系统，基于因果学习的检索模型是必然要迈过的一道坎。因果学习能够识别信息检索中变量间的因果关系，厘清事物发展变化的前因后果，全面认识用户需求和检索方法的本质，修正检索模型中的偏差，提升检索系统的可解释性、可操作性和可溯源性。
趋势6：类脑计算系统从“专用”向“通用”逐步演进
以类脑计算芯片为核心的各种类脑计算系统，在处理某些智能问题以及低功耗智能计算方面正逐步展露出优势。但从设计方法角度看，类脑芯片往往根据目标应用要求通过归纳法来确定其硬件功能与接口，并定制化工具链软件，导致软硬件紧耦合、目标应用范围受限等问题。
类脑计算芯片设计将从现有处理器的设计方法论及其发展历史中汲取灵感，在计算完备性理论基础上结合应用需求实现完备的硬件功能。同时类脑计算基础软件将整合已有类脑计算编程语言与框架，提出与具体芯片无关的高层次编程抽象与统一开发框架，针对目标芯片研发类脑计算编译优化与映射优化技术，实现类脑计算系统从“专用”向“通用”的逐步演进。
趋势7：类脑计算从散点独立研究向多点迭代发展迈进
类脑计算在诸多方面已经取得了大量基础性研究成果，但目前的研究仍呈现相对独立狭窄的纵向分布特点，尚未形成相互促进的横向贯通局面。未来的类脑计算将更加注重在单点独立研究的同时与其他层面研究的结合，推动类脑计算的基础理论算法、芯片硬件平台、评估测试基准、编程编译工具以及系统应用的相互协同和促进，构建更具全栈性的类脑计算迭代发展生态，进入良性前进的轨道。
趋势8：神经形态硬件特性得到进一步的发掘并用于实现更为先进的智能系统
新型神经形态器件，如RRAM(可变电阻式存储器)、PCM(相变存储器)等，目前已经在人工智能领域发挥了重大作用，基于这些器件构建的智能硬件系统已经能够有效地提升智能算法执行的速度和能效，并保持算法的性能。
然而当前大部分硬件智能系统仅仅利用了神经形态器件的部分特性，如非易失性、线性等，缺乏对器件更丰富特性，如易失性、非线性、随机性等特性的应用。通过对器件的全面探究，下一代智能系统将会把算法的各种需求同器件的丰富特性紧密结合起来，从而进一步拓展智能系统的功能和应用范围，提升系统的性能和效率。
趋势9：人工智能从脑结构启发走向结构与功能启发并重
脑启发的人工智能在强调对脑结构和神经形态模仿的同时，还需要了解人类神经元和神经回路的功能与机制。这是因为脑结构与脑功能并不存在简单的一一对应的关系，即类似的结构可能有着不同的功能。
例如，作为古老结构的海马体在人和动物的大脑上有着类似的结构，但是它们采用了不同的记忆编码方式。动物的海马体在编码记忆时，采用的是“模式分离”的方式，即神经元形成不同的神经元群组来存储记忆，以避免记忆的混淆。但是，人类的海马体则采用了“概念和联想”的编码方式，即同样的一组神经元可以储存多个不同的记忆。人类这种独特的记忆编码方式可能是人类智能脱颖而出的一个关键因素，有助于解释人类相比于其它物种所具备的独特的认知能力，如人类的抽象思维能力和创造性思维能力。
趋势10：人工智能计算中心成为智能化时代的关键基础设施
近年来，人工智能对算力的需求迅猛增长，并成为最重要的计算算力资源需求之一。AI计算是智能时代发展的核心动力，以人工智能算力为主的人工智能计算中心应运而生。
人工智能计算中心基于最新人工智能理论，采用领先的人工智能计算架构，是融合公共算力服务、数据开放共享、智能生态建设、产业创新聚集的“四位一体”综合平台，可提供算力、数据和算法等人工智能全栈能力，是人工智能快速发展和应用所依托的新型算力基础设施。未来，随着智能化社会的不断发展，人工智能计算中心将成为关键的信息基础设施，推动数字经济与传统产业深度融合，加速产业转型升级，促进经济高质量发展。
