概率计算或成AI突破新爆点,最适合处理不确定性

简介: 概率计算能促进人工智能和机器学习吗?英特尔等许多公司押注于概率计算,致力于使未来的系统能够理解和计算自然数据中固有的不确定性,制造出能够理解、预测和决策的计算机。概率计算被认为是最适合在不确定的情况下做出判断的技术。

根据英特尔首席技术官Mike Mayberry的说法,最初的人工智能浪潮是基于逻辑的,这是基于写下规则——即所谓的“经典推理”。在概率计算中,处理单元所消耗的能量降低,从而增加了某些操作出错的可能性。

定义概率计算

根据USFCA的说法,概率计算机将模拟问题(前向)带入一个推理程序(反向)。总部位于加州伯克利的Navia系统公司开发了概率计算机,它将其定义为最适合在不确定的情况下做出判断的技术,就像传统的计算技术是大规模的记录保存一样。这家成立于2007年的创业公司强调,与目前用于逻辑推理和精确计算的计算机不同,在概率计算领域,机器和程序是用来处理不确定性和从经验中进行学习的

在概率计算下压上重注

英特尔正把赌注押在概率计算上,这是人工智能的一个主要组成部分,它将使未来的系统能够理解和计算自然数据中固有的不确定性,并有助于研究人员能够制造出能够理解、预测和决策的计算机。Mayberry在一篇文章中指出,如今人工智能的一个关键障碍是,给电脑提供的自然数据大多是非结构化和“嘈杂”的。他强调,概率计算可以使计算机在处理大规模的概率时更有效率,这是将当前系统和应用程序从先进的计算辅助工具转变为理解和决策的智能合作伙伴的关键。

2bba780860bb83b2032f049f791f0da137f3f924

Intel CTO Mike Mayberry

作为研究的一部分,这家领先的芯片制造商建立了英特尔的概率计算战略研究联盟,以促进与学术界和创业社区的研究和合作,并将实验室的创新带到实际应用中。该公司想要解决的核心领域是基准应用、对抗攻击缓解、概率框架、软件和硬件优化。

其他公司正在重新思考计算机架构

根据洛斯阿拉莫斯国家实验室(Los Alamos NationalLaboratory,LANL)的数据,概率计算为新的架构铺平了道路,这些新架构可以帮助优化传统的基本算法。LANL指出概率计算是一个具有挑战性的挑战,因为大量的特征尺寸的减少会导致非确定性,这也是一个巨大的机会,因为它提供了一种探索丰富空间的算法,也帮助研究人员可以概率性的降低功耗硬件方法。

在深度学习中应用概率计算

对于研究人员来说,最大的优势之一就是概率计算可以用比当前范式所提供的更低的能量来进行计算。今天,通用机器已经获得了很高的成熟度,并且大量的用例和应用程序,比如音频和语音处理,都需要很高的计算能力。其结果是,围绕创新的新硬件系统的研究在学术和技术领域获得了越来越多的关注。计算的概率性质允许数量级的加速,并可以大大减少电力消耗。根据乔治亚理工学院的研究员Krishna V Palem的说法,电力是高计算速度的主要驱动因素,现在的主要问题是如何在嵌入式计算设备中使电池续航时间更长。Palem强调,计算可以被建模为偏离,而不是采用直线的方法,随后我们可以控制计算的曲折行为达到期望的水平,同时将能源的成本节省到忽略不计的程度。

前景

专注于人工智能的硬件已经催生了一个创业生态系统,这些初创公司正在努力使人工智能操作更加顺畅。一个例子就是加利福尼亚的Samba Nova系统,它通过创建一个新平台来为新一代的计算提供动力。据新闻媒体报道,这家创业公司认为,尽管英伟达的GPU已经成为该行业深度学习应用的实际标准,但仍有颠覆的空间。新闻报道称,该公司在A轮融资中获得了5600万美元的融资,该公司希望打造一款能够在任何以人工智能设备上运行的新一代硬件,这是一款为自动驾驶技术提供动力的芯片。

目前,人工智能硬件市场已经见证了像苹果和谷歌这样的大公司,他们推出了专门的硬件来加速电脑视觉、图像识别等任务,但人工智能和数据分析不再局限于大型科技公司。其他在类似领域运营的创业公司是Graphcore和中国的地平线机器人公司,它们也在对硬件进行投资,并基于GPU进行了激烈的竞争,因为GPUs是所有与人工智能相关技术的密集型计算应用的支柱。从Facebook到百度,几乎每一家大公司都对GPU进行了投资,以快速完成对深度学习应用的研究,并训练复杂的模型。在效率方面,GPU的效率是CPU的10倍,在功耗方面,NVIDIA声称GPU也在推动计算行业的能源效率。


原文发布时间为:2018-05-16

本文作者:小潘

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:概率计算或成AI突破新爆点,最适合处理不确定性

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
相关文章
|
13天前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能与情感计算:AI如何理解人类情感
人工智能与情感计算:AI如何理解人类情感
91 20
|
5天前
|
人工智能 运维 Serverless
云端问道8期方案教学-基于Serverless计算快速构建AI应用开发
本文介绍了基于Serverless计算快速构建AI应用开发的技术和实践。内容涵盖四个方面:1) Serverless技术价值,包括其发展趋势和优势;2) Serverless函数计算与AI的结合,探讨AIGC应用场景及企业面临的挑战;3) Serverless函数计算AIGC应用方案,提供一键部署、模型托管等功能;4) 业务初期如何低门槛使用,介绍新用户免费额度和优惠活动。通过这些内容,帮助企业和开发者更高效地利用Serverless架构进行AI应用开发。
|
1月前
|
人工智能 缓存 并行计算
转载:【AI系统】CPU 计算本质
本文深入探讨了CPU计算性能,分析了算力敏感度及技术趋势对CPU性能的影响。文章通过具体数据和实例,讲解了CPU算力的计算方法、算力与数据加载之间的平衡,以及如何通过算力敏感度分析优化计算系统性能。同时,文章还考察了服务器、GPU和超级计算机等平台的性能发展,揭示了这些变化如何塑造我们对CPU性能的理解和期待。
转载:【AI系统】CPU 计算本质
|
1月前
|
机器学习/深度学习 存储 人工智能
转载:【AI系统】计算之比特位宽
本文详细介绍了深度学习中模型量化操作及其重要性,重点探讨了比特位宽的概念,包括整数和浮点数的表示方法。文章还分析了不同数据类型(如FP32、FP16、BF16、FP8等)在AI模型中的应用,特别是FP8数据类型在提升计算性能和降低内存占用方面的优势。最后,文章讨论了降低比特位宽对AI芯片性能的影响,强调了在不同应用场景中选择合适数据类型的重要性。
转载:【AI系统】计算之比特位宽
|
17天前
|
存储 人工智能 运维
面向AI的服务器计算软硬件架构实践和创新
阿里云在新一代通用计算服务器设计中,针对处理器核心数迅速增长(2024年超100核)、超多核心带来的业务和硬件挑战、网络IO与CPU性能增速不匹配、服务器物理机型复杂等问题,推出了磐久F系列通用计算服务器。该系列服务器采用单路设计减少爆炸半径,优化散热支持600瓦TDP,并实现CIPU节点比例灵活配比及部件模块化可插拔设计,提升运维效率和客户响应速度。此外,还介绍了面向AI的服务器架构挑战与软硬件结合创新,包括内存墙问题、板级工程能力挑战以及AI Infra 2.0服务器的开放架构特点。最后,探讨了大模型高效推理中的显存优化和量化压缩技术,旨在降低部署成本并提高系统效率。
|
17天前
|
存储 人工智能 芯片
面向AI的服务器计算互连的创新探索
面向AI的服务器计算互连创新探索主要涵盖三个方向:Scale UP互连、AI高性能网卡及CIPU技术。Scale UP互连通过ALink系统实现极致性能,支持大规模模型训练,满足智算集群需求。AI高性能网卡针对大规模GPU通信和存储挑战,自研EIC网卡提供400G带宽和RDMA卸载加速,优化网络传输。CIPU作为云基础设施核心,支持虚拟化、存储与网络资源池化,提升资源利用率和稳定性,未来将扩展至2*800G带宽,全面覆盖阿里云业务需求。这些技术共同推动了AI计算的高效互联与性能突破。
|
1月前
|
机器学习/深度学习 人工智能 前端开发
【AI系统】计算图的控制流实现
计算图作为有向无环图(DAG),能够抽象神经网络模型,但在编程中遇到控制流语句(如if、else、while、for)时,如何表示成为难题。引入控制流后,开发者可构建更复杂的模型结构,但部署含控制流的模型至不支持Python的设备上较为困难。目前,PyTorch仅支持Python控制流,而TensorFlow通过引入控制流原语来解决此问题。计算图的动态与静态实现各有优劣,动态图易于调试,静态图利于优化。
48 5
【AI系统】计算图的控制流实现
|
1月前
|
机器学习/深度学习 存储 人工智能
【AI系统】计算图与自动微分
自动求导利用链式法则计算雅可比矩阵,从结果节点逆向追溯计算路径,适用于神经网络训练中损失值对网络参数的梯度计算。AI框架中,自动微分与反向传播紧密相连,通过构建计算图实现高效梯度计算,支持动态和静态计算图两种模式。动态图如PyTorch,适合灵活调试;静态图如TensorFlow,利于性能优化。
64 6
【AI系统】计算图与自动微分
|
1月前
|
机器学习/深度学习 人工智能 算法
【AI系统】计算图挑战与未来
当前主流AI框架采用计算图抽象神经网络计算,以张量和算子为核心元素,有效表达模型计算逻辑。计算图不仅简化数据流动,支持内存优化和算子调度,还促进了自动微分功能的实现,区分静态图和动态图两种形式。未来,计算图将在图神经网络、大数据融合、推理部署及科学计算等领域持续演进,适应更复杂的计算需求。
80 5
【AI系统】计算图挑战与未来
|
1月前
|
人工智能 调度 算法框架/工具
【AI系统】计算图的调度与执行
深度学习训练过程涉及前向计算、计算损失及更新权重参数。AI框架通过计算图统一表示训练过程,算子作为计算图的节点,由后端硬件高效执行。计算图调度包括算子间的调度、并发调度和异构调度,确保计算资源的有效利用。图执行模式分为单算子执行、整图下沉执行和图切分多设备执行,适应不同场景需求。以PyTorch为例,其算子执行通过两次调度选择合适的Kernel进行张量操作,并支持自动求导。
65 5

热门文章

最新文章