探访FB人工智能数据中心:推动深度学习的引擎

简介:

在美国西部登陆Facebook帐号,你的资料就很可能被一台由杜松和俄勒冈中部沙漠地区夹杂鼠尾草气息的空气而冷却的电脑调出。

在人口大约为9000人的小镇Prineville,Facebook存储了数以亿计的海量数据。一排排的电脑被安放在四座巨大的,总计八十万平方米的建筑里。它们整齐地排放着,好像要让来自西北的干冷风吹拂过每一台电脑。每当用户登录,点赞或者是发送LOL的时候,这些闪着蓝绿色光的服务器都会发出沉闷的低吼。

Facebook最近刚加入一些新机器到Prineville的服务器大军中。同时,公司也装载了新的大功率服务器,旨在加速对软件翻译、更聪明的虚拟助手以及文字识别等人工智能技术的训练。

Facebook新的Big Sur服务器是围绕本来为图片处理而开发的大功率处理器——GPU来设计的。这些处理器加强了最近人工智能的一个技术飞跃——深度学习。由于GPU使得如何训练软件的旧观念被运用到更广大更复杂的数据集中,软件可以变得惊人的“善解人意”,特别是在理解图片和文字方面。

Kevin Lee,Facebook一位致力于服务器工作的工程师表示,他们在帮助Facebook的研究员们通过以运行更快、使用更多数据的方式来训练软件。”这些服务器是人工智能和机器学习研究的专用硬件。GPU可以记录一张照片,把它们分成无数小像素,然后同时处理。”

每8个GPU就配置一台Big Sur服务器,Facebook使用的是擅长于图像识别的半导体供应商Nvidia制造的GPU。Lee没有确切表明到底配置有多少服务器,但是据他所说,有数千块GPU在工作着。公司的Prineville,Ashburn和Virginia的数据中心都安装了Big Sur服务器。

因为GPU极其耗能,与数据中心里其他服务器不同,Facebook不得不把它们排放松散,以免产生过热点,给冷却系统带来麻烦,以至于耗能更多。现在每个七英尺高的架子里都只能放下八个Big Sur服务器,而这些架子过去可以容纳30个只负责做一些用户数据处理等日常工作的Facebook常规服务器。

在运行大数据中心和运用GPU来进行机器学习研究这些方面,Facebook不是唯一一家。海内外的巨头,比如微软、谷歌以及百度等也运用GPU来进行深度学习的研究。

社交网络是非比寻常的。它开创了Big Sur服务器设计、其它服务器设计,以及建立Prineville数据中心的新纪元。公司把这些设计和计划捐献给了一个非盈利项目——开放计算项目(Open Compute Project)。这个项目由Facebook于2011年发起,旨在鼓励计算机公司互相协作,设计出低耗高效的数据中心硬件。这个项目至今已经帮助了数家亚洲硬件公司,抢占了一些传统供货商如戴尔和惠普的市场。

Facebook AI研究项目的主管Yann LeCun说道,当今年早些时候Big Sur服务器宣布使用的时候,他相信该技术通用之后,会有更多组织建造强有力的机器学习基础设施,然后加速此领域的发展进程。

不过,未来机器学习服务器建造的计划可能不会以GPU为核心,如今很多家公司在致力于新芯片的设计。相比于GPU来说,这种芯片是特别为深度学习的算法而制作的。

今年五月,谷歌宣布其已经开始使用自己设计的TPU芯片来驱动产品中的深度学习软件,如语音识别。在训练之后,这一代的芯片似乎更适合于运行算法,而不是像Big Sur服务器一样,最初的训练步骤是为了加速。但是,谷歌已经开始第二代芯片的研究。Nvidia和其它几家新公司包括Nervana也在开发为深度学习定制的芯片。

普渡大学副教授Eugenio Culurciello表示,深度学习的有效性意味着这种芯片将会被广泛应用。“市场对这种芯片已经有巨大需求了,而且这种需求只增不减。”

当被问到Facebook是否在开发定制芯片时,Lee表示,公司正在“研究中”。





====================================分割线================================


本文转自d1net(转载)

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
目录
相关文章
|
1月前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的眼疾识别系统实现~人工智能+卷积网络算法
眼疾识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了4种常见的眼疾图像数据集(白内障、糖尿病性视网膜病变、青光眼和正常眼睛) 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型,然后保存为为本地h5格式文件。最后使用Django框架搭建了一个Web网页平台可视化操作界面,实现用户上传一张眼疾图片识别其名称。
105 5
基于Python深度学习的眼疾识别系统实现~人工智能+卷积网络算法
|
2月前
|
机器学习/深度学习 人工智能 算法
猫狗宠物识别系统Python+TensorFlow+人工智能+深度学习+卷积网络算法
宠物识别系统使用Python和TensorFlow搭建卷积神经网络,基于37种常见猫狗数据集训练高精度模型,并保存为h5格式。通过Django框架搭建Web平台,用户上传宠物图片即可识别其名称,提供便捷的宠物识别服务。
321 55
|
3月前
|
机器学习/深度学习 人工智能 TensorFlow
人工智能浪潮下的自我修养:从Python编程入门到深度学习实践
【10月更文挑战第39天】本文旨在为初学者提供一条清晰的道路,从Python基础语法的掌握到深度学习领域的探索。我们将通过简明扼要的语言和实际代码示例,引导读者逐步构建起对人工智能技术的理解和应用能力。文章不仅涵盖Python编程的基础,还将深入探讨深度学习的核心概念、工具和实战技巧,帮助读者在AI的浪潮中找到自己的位置。
|
2月前
|
机器学习/深度学习 人工智能 算法
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
宠物识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了37种常见的猫狗宠物种类数据集【'阿比西尼亚猫(Abyssinian)', '孟加拉猫(Bengal)', '暹罗猫(Birman)', '孟买猫(Bombay)', '英国短毛猫(British Shorthair)', '埃及猫(Egyptian Mau)', '缅因猫(Maine Coon)', '波斯猫(Persian)', '布偶猫(Ragdoll)', '俄罗斯蓝猫(Russian Blue)', '暹罗猫(Siamese)', '斯芬克斯猫(Sphynx)', '美国斗牛犬
216 29
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
深入理解人工智能中的深度学习技术及其最新进展
深入理解人工智能中的深度学习技术及其最新进展
346 33
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
揭秘人工智能:深度学习的奥秘与实践
在本文中,我们将深入浅出地探索深度学习的神秘面纱。从基础概念到实际应用,你将获得一份简明扼要的指南,助你理解并运用这一前沿技术。我们避开复杂的数学公式和冗长的论述,以直观的方式呈现深度学习的核心原理和应用实例。无论你是技术新手还是有经验的开发者,这篇文章都将为你打开一扇通往人工智能新世界的大门。
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
深入理解人工智能中的深度学习技术及其最新进展
深入理解人工智能中的深度学习技术及其最新进展
130 14
|
3月前
|
机器学习/深度学习 数据采集 人工智能
探索人工智能中的深度学习模型优化策略
探索人工智能中的深度学习模型优化策略
119 13
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
揭秘AI:深度学习的奥秘与实践
本文将深入浅出地探讨人工智能中的一个重要分支——深度学习。我们将从基础概念出发,逐步揭示深度学习的原理和工作机制。通过生动的比喻和实际代码示例,本文旨在帮助初学者理解并应用深度学习技术,开启AI之旅。
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能与深度学习:探索未来技术的无限可能
在21世纪,人工智能(AI)和深度学习已经成为推动科技进步的重要力量。本文将深入探讨这两种技术的基本概念、发展历程以及它们如何共同塑造未来的科技景观。我们将分析人工智能的最新趋势,包括自然语言处理、计算机视觉和强化学习,并讨论这些技术在现实世界中的应用。此外,我们还将探讨深度学习的工作原理,包括神经网络、卷积神经网络(CNN)和循环神经网络(RNN),并分析这些模型如何帮助解决复杂的问题。通过本文,读者将对人工智能和深度学习有更深入的了解,并能够预见这些技术将如何继续影响我们的世界。
88 7