2020机器学习框架走向大融合!Jeff Dean、PyTorch之父等展望AI大势

本文涉及的产品
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_高级版,每接口累计50万次
NLP自然语言处理_基础版,每接口每天50万次
简介:

人工智能不再准备有一天改变世界,它正在改变世界。新年伊始,VentureBeat转向了AI领域最敏锐的头脑,重新审视了2019年取得的进步,并展望了机器学习在2020年将如何发展。

受访者包括Google AI负责人Jeff Dean、PyTorch的创始人Soumith Chintala、加州大学教授Celeste Kidd、英伟达机器学习研究总监Anima Anandkumar和IBM研究总监Dario Gil。

每个人对新的一年都有预测,但是这些人正在塑造未来。这些在AI社区中具有权威的人,他们珍视科学追求,他们获得了实至名归的荣誉。尽管一些人预测了半监督学习和神经符号方法等子领域的进展,但几乎所有ML专家都表示同意,2019年,基于Transformer的自然语言模型方面取得了巨大进展,而像面部识别这样的技术继续引起争议。相比看到AI领域准确率的提高,他们更希望看到AI的价值。

先总结一下这次AI专家们预测的一些趋势:

随着Transformers推动了巨大的飞跃,自然语言模型的进步是2019年的一件大事。在2020年寻找更多基于BERT和基于Transformer的模型的变体。
人工智能行业应该寻找方法来评估模型输出的准确性。
诸如半监督学习,机器学习的神经符号方法之类的方法以及诸如多任务和多模式学习之类的子领域可能会在未来一年取得进展。
与生物统计数据(如语音记录)相关的伦理挑战可能会继续引起争议。
诸如量化之类的编译器和方法可能会在PyTorch和TensorFlow这些机器学习框架中作为优化模型性能的方式而流行。
PyTorch创始人Soumith Chintala :机器学习框架走向大融合

PyTorch是当今世界上最受欢迎的机器学习框架。它是2002年问世的Torch开源框架的衍生产品,自2015年发布以来,其扩展工具和库均稳步增长。

今年秋天,Facebook发布了支持量化和TPU的PyTorch 1.3,以及深度学习可解释性工具Captum和面向移动设备的PyTorch Mobile。还有诸如PyRobot和PyTorch Hub等其他产品和工具,可用于共享代码并推进机器学习研究的可重复性。

Chintala在今年秋天在PyTorch开发者大会上曾表示,他认为2019年机器学习领域几乎没有突破性进展。

“实际上,我认为自从Transformer架构问世以来,我们基本上没有什么开创性的新东西……卷积网络在2012年就进入了黄金期,而Transformer则是在2017年左右。当然,这是我的个人看法,”他说。

Chintala表示,DeepMind的AlphaGo在强化学习方面的贡献确实是开创性的,但对于现实世界中的实际任务,很难实现这一结果。Chintala还认为,机器学习框架(如PyTorch和TensorFlow)的发展改变了研究人员的研究思路和方式。

“从某种意义上说,这是一个突破,让研发速度比以前快了一两个数量级。”

今年,谷歌和Facebook的开源框架引入了量化功能,以提高模型训练的速度。在未来的几年内,Chintala认为PyTorch的JIT编译器和Glow等神经网络硬件加速器的重要程度和应用范围都有望实现“爆炸式增长”。

“有了PyTorch和TensorFlow,目前框架的融合过程已经开始。之所以现在框架推出了量化功能,以及其他一系列较低层级的工具,是因为下一场战争是框架的编译器之争。比如XLA,TVM,以及PyTorch的Glow,在接下来的几年中,深度学习框架的焦点将是如何更智能地实现量化,如何更好地促进框架间的融合,如何更有效地使用GPU,如何为新硬件进行自动编译等等。”

Chintala预测,AI社区将在2020年之前将更多精力放在AI模型更广泛意义的性能提升上,不仅仅是精度,也要重视其他因素,比如建立模型所需的能耗、如何解释模型的输出、AI如何更好地反映人们想要建立的社会类型。

“回想过去五六年,我们基本上只是关注准确性,我认为2020年将是我们开始以更复杂的方式思考的一年。”

Jeff Dean :多模式学习将取得新突破

Jeff Dean领导Google AI已有近两年时间,他已经在Google工作了二十年,是Google许多早期搜索和分布式网络算法的架构师,也是Google Brain的早期成员之一。

Jeff Dean上个月出席NeurIPS 2019,就ASIC半导体设计的机器学习以及AI社区应对气候变化等话题进行了演讲。他预计2020年,多模式学习领域将取得进展,这是一种依靠多种媒体进行训练的AI,而多任务学习则涉及旨在一次完成多个任务的网络。

毫无疑问,2019年机器学习最明显趋势之一是基于Transformer的自然语言模型的持续壮大。Google于2018年开源了基于Transformer的模型BERT。据GLUE排行榜的数据显示,今年发布的许多性能最佳的模型(如Google的XLNet,微软的MT-DNN,Facebook的RoBERTa)都基于Transformer。XLNet 2将于本月晚些时候发布。

他表示:“ 我认为目前的研究路线在生成实用机器学习模型方面非常有成果,现在的机器学习模型比过去能够完成的复杂得多,但未来仍有增长空间。“我们仍然有望创建更多的上下文相关的模型。目前BERT和其他模型可以很好地处理数百个单词,但不能很好处理带上下文的10000个单词。”

Jeff Dean希望今后能够少强调一些最新技术,而倾向于构建更强大的模型。

Celeste Kidd:2020年可能意味着“神经网络不可解释”这一观念的终结

加州大学伯克利分校的发展心理学家,Kidd实验室主管

Celeste Kidd与团队成员在Kidd实验室探索孩子们如何学习。她们的洞察可以帮助神经网络的创造者——正试图用与抚养孩子不太不同的方式来训练模型。

在人工智能领域,“黑盒”一词已经存在多年。它被用来批评神经网络缺乏可解释性,但Kidd认为2020年可能意味着“神经网络不可解释”这一观念的终结。她说:“黑匣子的论点是虚假的……大脑也是黑匣子,我们在理解大脑如何工作的方面取得了很大进步。”

为了解开对神经网络的这种认识,Kidd将目光投向了像MIT-IBM Watson AI Lab的执行主任Aude Oliva这样的人的工作。她说:“我们在讨论这个问题,你可以解剖它们,把它们拆开,看看它们是如何工作的,并对它们进行实验,就像我们理解认知一样。”

在2020年,她希望看到人们更多地意识到技术工具和技术决策在现实生活中的影响,并摒弃工具制造商不对人们使用工具的行为负责任的观点。她说:“我听到很多人试图为自己辩护,说他们自己不是真相的主持人;我认为必须提高人们对这种不诚实态度的认识。我们作为社会人,特别是作为正在开发这些工具的人们,确实需要直接意识到随之而来的责任。”

Dario Gil:神经符号和常识推理是MIT-IBM Watson Lab的一项旗舰计划

IBM研究主管

他预测,在架构的精度降低的情况下使训练更有效率,会取得持续的进展。开发更有效的AI模型是NeurIPS的一个重点,IBM Research在NeurIPS引入了8位精确模型的深度学习技术。

他说:“我们用现有的硬件和GPU架构训练深度神经网络的方式仍然是如此普遍低下。因此,对这此进行真正根本性的反思非常重要。我们必须提高AI的计算效率,这样才能做得更多。”

Gil引用的研究表明,每三个半月对机器学习训练的需求就会翻一番,远远快于摩尔定律预测的增长速度。Gil还对人工智能如何帮助加速科学发现感到兴奋,但IBM的研究将主要集中于机器学习的神经符号方法上。

在2020年,Gil希望人工智能从业者和研究人员把重点放在准确性以外的指标上,以考虑投入生产的模型的价值。将领域转向构建可信系统,而不是将准确性放在首位,这将是继续采用人工智能的中心支柱。

Gil相信,要想让更多具备数据科学和软件工程技能的人使用人工智能,就必须摆脱这样一种观念——只有少数机器学习的奇才能够做人工智能。他说:“如果我们把人工智能作为一个神话般的领域,只对从事这方面研究的博士开放,那么这并不能真正促进人们对人工智能的使用。”

在未来一年里,Gil对神经符号人工智能特别感兴趣。IBM将寻求神经符号方法来增强概率编程等功能——人工智能在其中学习如何操作程序,以及能够共享决策背后的推理的模型。他认为,通过这些神经符号方法将学习和推理结合起来,其中符号维度嵌入到学习程序中,已经证明可以用所需的一小部分数据来学习。因为学习了一个程序,最终得到了一些可解释的东西;因为有一些可解释的东西,又得到了更可信的东西。

公平性、数据完整性、数据集的选择等问题、“任何与生物识别有关的问题”将继续受到广泛关注,也将继续受到关注。面部识别得到了很多关注,但这只是个开始。语音数据和其他形式的生物识别技术将会越来越敏感。一切与人的身份、生物特征以及人工智能在分析方面取得的进展,都将继续是前沿和中心。

除了神经符号和常识推理(MIT-IBM Watson Lab的一项旗舰计划)外,IBM Research在2020年还将探索AI的量子计算与模拟硬件(超越降低精度的架构)。

Nvidia机器学习研究总监Anima Anandkumar:希望看到更多针对特定行业的文本模型

Anandkumar加入了GPU制造商Nvidia,此前她在AWS担任首席科学家。在英伟达,人工智能研究在多个领域继续进行,从医疗保健的联合学习到自动驾驶、超级计算机和图形学。

英伟达和Anandkumar在2019年的一个重点领域是强化学习的模拟框架,该框架正变得越来越受欢迎和成熟。

在2019年,我们看到了英伟达的自动驾驶平台和Isaac机器人模拟平台的兴起,以及从模拟和生成对抗网络生成合成数据的模型。

去年还迎来了AI的兴起,例如StyleGAN(一种可以使人们质疑自己是看的是计算机生成的人脸还是真实的人的技术)和GauGAN(可以用画笔生成风景)。StyleGAN2 上个月首次亮相。

GAN是可以模糊现实界限的技术,Anandkumar认为,它们可以帮助AI社区解决一些主要的挑战,例如能抓握的机器人手和自动驾驶。

Anandkumar还希望在未来一年内看到迭代算法、自监督和训练模型的自训练方法的进展,这些模型可以通过使用未标记的数据进行自训练来改进。

在2019年8月,英伟达推出了Megatron自然语言模型。Megatron拥有80亿个参数,被誉为全球最大的基于Transformer的AI模型。Anandkumar说,她对人们开始将模型表征为具有个性或字符的方式感到惊讶,并且她希望看到更多针对特定行业的文本模型。

(转自:https://mp.weixin.qq.com/s/NwlVzJN9h3xLD4So7l-XqQ 如有侵权,请联系删除)

目录
相关文章
|
16天前
|
存储 人工智能 大数据
AI开发新范式,PAI模型构建平台升级发布
本次分享由阿里云智能集团产品专家高慧玲主讲,聚焦AI开发新范式及PAI模型构建平台的升级。分享分为四个部分,围绕“人人可用”和“面向生产”两大核心理念展开。通过降低AI工程化门槛、提供一站式全链路服务,PAI平台致力于帮助企业和开发者更高效地实现AI应用。案例展示中,介绍了多模态模型微调在文旅场景的应用,展示了如何快速复现并利用AI解决实际问题。最终目标是让AI技术更普及,赋能各行业,推动社会进步。
|
18天前
|
机器学习/深度学习 人工智能
Diff-Instruct:指导任意生成模型训练的通用框架,无需额外训练数据即可提升生成质量
Diff-Instruct 是一种从预训练扩散模型中迁移知识的通用框架,通过最小化积分Kullback-Leibler散度,指导其他生成模型的训练,提升生成性能。
47 11
Diff-Instruct:指导任意生成模型训练的通用框架,无需额外训练数据即可提升生成质量
|
6天前
|
机器学习/深度学习 并行计算 PyTorch
TorchOptimizer:基于贝叶斯优化的PyTorch Lightning超参数调优框架
TorchOptimizer 是一个基于贝叶斯优化方法的超参数优化框架,专为 PyTorch Lightning 模型设计。它通过高斯过程建模目标函数,实现智能化的超参数组合选择,并利用并行计算加速优化过程。该框架支持自定义约束条件、日志记录和检查点机制,显著提升模型性能,适用于各种规模的深度学习项目。相比传统方法,TorchOptimizer 能更高效地确定最优超参数配置。
46 7
|
2天前
|
SQL 人工智能 关系型数据库
AI时代下的PolarDB:In-DB一体化模型训练与推理服务
本次分享主题为“AI时代下的PolarDB:In-DB一体化模型训练与推理服务”,由阿里云资深专家贾新华和合思信息刘桐炯主讲。内容涵盖PolarDB的关键能力、AI硬件与软件结构支持、典型应用场景(MLops、ChatBI、智能搜索),以及合思实践案例——AI对话机器人提升客户响应效率。通过简化流程、SQL统一管理及内置算法,PolarDB显著降低了AI应用门槛,并在多个行业实现最佳实践。
|
17天前
|
SQL 人工智能 关系型数据库
PolarDB-PG AI最佳实践 2 :PolarDB AI X EAS实现自定义库内模型推理最佳实践
PolarDB通过POLAR_AI插件支持使用SQL调用AI/ML模型,无需专业AI知识或额外部署环境。结合阿里云EAS在线模型服务,可轻松部署自定义模型,在SQL中实现如文本翻译等功能。
|
1月前
|
人工智能 安全 PyTorch
SPDL:Meta AI 推出的开源高性能AI模型数据加载解决方案,兼容主流 AI 框架 PyTorch
SPDL是Meta AI推出的开源高性能AI模型数据加载解决方案,基于多线程技术和异步事件循环,提供高吞吐量、低资源占用的数据加载功能,支持分布式系统和主流AI框架PyTorch。
62 10
SPDL:Meta AI 推出的开源高性能AI模型数据加载解决方案,兼容主流 AI 框架 PyTorch
|
16天前
|
人工智能 安全 大数据
PAI年度发布:GenAI时代AI基础设施的演进
本文介绍了AI平台在大语言模型时代的新能力和发展趋势。面对推理请求异构化、持续训练需求及安全可信挑战,平台推出了一系列优化措施,包括LLM智能路由、多模态内容生成服务、serverless部署模式等,以提高资源利用效率和降低使用门槛。同时,发布了训推一体调度引擎、竞价任务等功能,助力企业更灵活地进行训练与推理任务管理。此外,PAI开发平台提供了丰富的工具链和最佳实践,支持从数据处理到模型部署的全流程开发,确保企业和开发者能高效、安全地构建AI应用,享受AI带来的红利。
|
20天前
|
人工智能 安全 算法
PAI负责任的AI解决方案: 安全、可信、隐私增强的企业级AI
在《PAI可信AI解决方案》会议中,分享了安全、可信、隐私增强的企业级AI。会议围绕三方面展开:首先通过三个案例介绍生活和技术层面的挑战;其次阐述构建AI的关键要素;最后介绍阿里云PAI的安全功能及未来展望,确保数据、算法和模型的安全与合规,提供全方位的可信AI解决方案。
|
1月前
|
人工智能 PyTorch 算法框架/工具
【AI系统】动手实现 PyTorch 微分
本文介绍了使用操作符重载(OO)编程方式实现的自动微分,特别是采用反向模式(Reverse Mode)的实现方法。文中详细解释了操作符重载的基本概念及其在自动微分中的应用,以及反向模式的工作原理。通过 Python 示例代码,演示了如何手动实现类似 PyTorch 中自动微分的核心机制,包括定义 `Variable` 类、`Tape` 结构以及实现基本的数学运算符重载。最后,通过一个具体的数学函数示例展示了如何利用上述机制计算梯度,帮助读者理解反向模式自动微分的全过程。
50 1
【AI系统】动手实现 PyTorch 微分
|
16天前
|
人工智能 容灾 Serverless
AI推理新纪元,PAI全球化模型推理服务的创新与实践
本次分享主题为“AI推理新纪元,PAI全球化模型推理服务的创新与实践”,由阿里云高级产品经理李林杨主讲。内容涵盖生成式AI时代推理服务的变化与挑战、play IM核心引擎的优势及ES专属网关的应用。通过LM智能路由、多模态异步生成等技术,PAI平台实现了30%以上的成本降低和显著性能提升,确保全球客户的业务稳定运行并支持异地容灾,目前已覆盖16个地域,拥有10万张显卡的推理集群。

热门文章

最新文章