科技云报道:大模型的火烧到了AI服务器上

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 异构服务器或是大势所趋

科技云报道原创。

大模型的纷争已经随着各大入局者公布产品后,热度逐渐退去,但是由大模型带来的产业链高频共振,已经传递了算力层。

表现最为激烈的,就是AI服务器市场。大模型带来的算力需求,直接引发了一波AI服务器抢购潮和涨价潮。

未命名1689304061.png

据《证券时报》报道,一家检测企业透露,他们在去年6月购买的8台AI服务器到今年三月已经涨价到130万每台,到现在价格飙升至160万每台。不到一年的时间,价格涨幅近20倍。

另外,AI服务器需求量大涨也直接引发了上游材料PPO(聚苯醚,用作高速覆铜板增强材料)的抢购潮,此前有业内相关人士坦言,由于全球PPO主流厂商仅一家,随着AI服务器的放量,PPO未来很有可能成为产业链上的紧缺环节之一。

在这样的背景下,AI服务器厂商扩产的消息也层出不穷。

鸿海集团旗下负责AI服务器业务的鸿佰科技就曾被曝出规划新增五到六条生产线,以应对AI服务器客户要求的消息。

市场火热度可见一斑,这也直接点燃了资本市场。

从1月份开始,以浪潮信息、中际旭创、工业富联为首的AI服务器概念股扶摇直上,多次涨停,甚至连长期亏损的寒武纪,股价都一路飘红。

爆火的“AI服务器”

AI服务器是什么?

AI服务器是一种专门设计用于执行人工智能(AI)、机器学习(ML)、深度学习(DL)等计算密集型任务的高性能服务器。

AI服务器通常配备有高效能的中央处理器(CPU)、图形处理器(GPU)、张量处理器(TPU)或专用的AI加速器,以及大量的内存和存储空间。

在异构方式上,AI服务器可以为CPU+GPU、CPU+FPGA、CPU+TPU、CPU+ASIC或CPU+多种加速卡。

具体的设计和配置可以根据需要进行大量并行处理的具体任务来进行调整。

目前,使用比较广泛的AI服务器是CPU+GPU。这也与传统的服务器区分开来。

据悉,传统服务器主要以CPU为算力提供者,但是在运作的过程中需要引入大量分支跳转中断处理,这使得CPU的内部结构复杂,并不能满足AI时代的需求。

而采用GPU并行计算的AI服务器,单卡核心数达到上千个,擅长处理密集型运算应用,如图形渲染、计算视觉和机器学习。

上述提及的检测企业使用的AI服务器,基础配置就包括8颗英伟达A100GPU和80G存储器。

AI服务器对于AI、ML和DL的计算密集型任务来说非常有用。主要功能包括:

大数据处理:AI服务器能够处理和分析大量数据,这是训练AI和ML模型的关键。

并行计算:由于AI和ML算法需要对大量数据进行复杂的计算,AI服务器通常使用可以并行处理大量数据的硬件,如GPU。

存储和内存:AI服务器通有大量的存储空间和内存,以便存储和处理大量的数据。

网络能力:AI服务器需要高速和低延迟的网络连接,以便快速传输大量的数据。

其实,这也解释了为什么在大模型热浪后,会引发AI服务器的抢购浪。大模型中包含着海量的数据参数、训练、运行都需要更多的计算资源来处理,这就需要更高性能的AI服务器来支持。

当然,这一次AI服务需求大涨最直接的原因是大模型时代的到来,但是实际上,AI服务器在这个节点爆发,与AI技术、大数据的发展都有关。

总的来说,AI服务器的爆火可以归结为以下几个关键因素。

首先,大数据的崛起。现代社会的每个角落,无论是社交媒体、电子商务还是互联网搜索,都在产生大量的数据。

这些数据需要通过复杂的算法进行分析和解读,以发现有用的模式和信息,而AI服务器就能提供足够的计算能力来处理这些任务。

其次,AI和ML的普及也推动了AI服务器的需求。AI和ML现在已经广泛应用于各种行业,包括医疗保健、金融、零售和交通等。

这些领域的进步需要强大的计算能力来处理和分析数据,训练和运行复杂的AI和ML模型。

最后,云计算和边缘计算的发展也为AI服务器的爆火提供了动力。

云计算使得企业和组织能够无需购买和维护昂贵的硬件就能获得强大的计算能力,而边缘计算则需要在接近数据产生地点的服务器上进行数据处理和分析。

AI服务器国内市场格局

AI服务器市场在过去的几年里一直在持续增长,到现今,在大模型的加持下,AI服务器市场盘子越来越大。

据北京研精毕智信息咨询发布的最新数据显示,2022年全年,全球AI服务器行业市场出货量达到85万台,同比增长约11%,到2023年中旬,AI服务器市场出货量接近60万台,相比上年同期增长约39%。

未来,随着自然语言处理和图像、视频等AI大模型的发展,算力需求的持续增长,预计到今年年底,全球AI服务器市场规模将超过200亿美元。

到2025年,预计市场出货量将提升至190万台左右,2022-2025年期间年平均增长率达41.2%。

就具体产业链来说,AI服务器产业链上游为CPU、GPU、内存和硬盘等核心零部件,以及数据库、操作系统和基础管理软件等软件供应;下游为应用市场,包括互联网、云计算和数据中心服务商等。

目前,主导市场的是一些主要的AI服务器制造商,包括华为、浪潮、联想和中科曙光等,这些公司的服务器被广泛应用于AI和ML的研究和商业应用。

不过,值得注意的是,浪潮信息于近日发布了一份营收净利润双双下滑的半年度业绩预告。

其中,浪潮信息2023年上半年扣非净利润同比下滑88%-99%。对此,浪潮信息方面称,2023年上半年,受全球GPU及相关专用芯片供应紧张等因素的影响,营业收入出现下滑。

实际上,有行业人士分析,在AI服务器大火的背景下,浪潮信息业绩不及预期,深层次原因还是在于传统服务器行业整体不景气,而目前浪潮信息AI服务器实际所占比例并不大。

浪潮信息此前曾表示,总体来看,公司AI服务器的整体业务占比在上升。AI服务器需求大涨带来的业绩,或许能在浪潮信息2023年年报才能体现。

不过,根据IDC发布的《2022年第四季度中国服务器市场跟踪报告Prelim》,目前,在整个服务器市场(涵盖AI服务器和传统服务器)浪潮份额依旧以28.1%领先,但相比于去年30.8%的份额,还是有所下滑。

其实这也与说明一点,传统CPU服务器行业受到AI的影响,市场逐渐萎靡。未来以AI服务器为代表的异构服务器或是大势所趋。

在应用市场,数据显示,全球市场中以Microsoft、Google、Meta和AWS为代表的四家北美云端供应商采购量相对比较高。

2022年末,Microsoft以接近20%的采购量占据当年首位;Google、Meta和AWS采购量占比排在之后,分别达到17%、15%和14%。

在国内,随着科技厂商入局大模型已经大模型创业的兴起,AI算力基础设施的加快建设,对AI服务器的采购量占比也在相应升高。

2022年年末,字节跳动的AI服务器采购量大幅度提高,市场占比达到6%。

然而,市场也面临着一些挑战。首先,是能源消耗的问题。尽管AI服务器的性能在不断提高,但其能耗也在增加。这对于环保和电力供应来说都是一个问题。

其次,AI和ML的快速发展和变化要求服务器制造商必须持续投入研发,以确保他们的产品能够满足最新的需求。

关于未来,国内的AI服务器市场有很大的潜力。随着AI、ML和DL的进一步发展和应用,预计对AI服务器的需求将继续增长。

此外,随着5G和物联网技术的普及,未来在边缘计算领域对AI服务器的需求将会增加。

总的来说,尽管市场面临着一些挑战,但AI服务器的快速发展和广泛应用表明,这是一个充满活力和潜力的市场。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
相关文章
|
2月前
|
存储 人工智能 运维
|
3月前
|
机器学习/深度学习 人工智能 运维
企业内训|LLM大模型在服务器和IT网络运维中的应用-某日企IT运维部门
本课程是为某在华日资企业集团的IT运维部门专门定制开发的企业培训课程,本课程旨在深入探讨大型语言模型(LLM)在服务器及IT网络运维中的应用,结合当前技术趋势与行业需求,帮助学员掌握LLM如何为运维工作赋能。通过系统的理论讲解与实践操作,学员将了解LLM的基本知识、模型架构及其在实际运维场景中的应用,如日志分析、故障诊断、网络安全与性能优化等。
103 2
|
8天前
|
人工智能 前端开发 小程序
2024年12月30日蜻蜓蜻蜓AI工具系统v1.0.0发布-优雅草科技本产品前端源代码已对外开源可免费商用-优雅草老八
2024年12月30日蜻蜓蜻蜓AI工具系统v1.0.0发布-优雅草科技本产品前端源代码已对外开源可免费商用-优雅草老八
2024年12月30日蜻蜓蜻蜓AI工具系统v1.0.0发布-优雅草科技本产品前端源代码已对外开源可免费商用-优雅草老八
|
25天前
|
存储 人工智能 自然语言处理
ChatMCP:基于 MCP 协议开发的 AI 聊天客户端,支持多语言和自动化安装 MCP 服务器
ChatMCP 是一款基于模型上下文协议(MCP)的 AI 聊天客户端,支持多语言和自动化安装。它能够与多种大型语言模型(LLM)如 OpenAI、Claude 和 OLLama 等进行交互,具备自动化安装 MCP 服务器、SSE 传输支持、自动选择服务器、聊天记录管理等功能。
151 15
ChatMCP:基于 MCP 协议开发的 AI 聊天客户端,支持多语言和自动化安装 MCP 服务器
|
5天前
|
存储 人工智能 运维
面向AI的服务器计算软硬件架构实践和创新
阿里云在新一代通用计算服务器设计中,针对处理器核心数迅速增长(2024年超100核)、超多核心带来的业务和硬件挑战、网络IO与CPU性能增速不匹配、服务器物理机型复杂等问题,推出了磐久F系列通用计算服务器。该系列服务器采用单路设计减少爆炸半径,优化散热支持600瓦TDP,并实现CIPU节点比例灵活配比及部件模块化可插拔设计,提升运维效率和客户响应速度。此外,还介绍了面向AI的服务器架构挑战与软硬件结合创新,包括内存墙问题、板级工程能力挑战以及AI Infra 2.0服务器的开放架构特点。最后,探讨了大模型高效推理中的显存优化和量化压缩技术,旨在降低部署成本并提高系统效率。
|
5天前
|
人工智能 弹性计算 运维
ECS控制台,AI助手与极简管控体验
本文介绍了ECS控制台的演进及最新AI工具功能。控制台作为运维平台,需兼顾用户体验、可靠性和安全性。针对不同用户(个人开发者、企业级用户、资源管理员和架构师),控制台提供了定制化AI助手,涵盖售前选型、售中购买、售后运维等全链路支持。AI助手可智能分析用户需求,推荐合适规格,并提供实例诊断、命令解释等功能,简化操作流程。此外,还推出了简洁版控制台,优化了小资源量用户的使用体验,减少复杂度,提升效率。未来,控制台将朝着更智能、个性化的chat ops方向发展。
|
5天前
|
存储 人工智能 芯片
面向AI的服务器计算互连的创新探索
面向AI的服务器计算互连创新探索主要涵盖三个方向:Scale UP互连、AI高性能网卡及CIPU技术。Scale UP互连通过ALink系统实现极致性能,支持大规模模型训练,满足智算集群需求。AI高性能网卡针对大规模GPU通信和存储挑战,自研EIC网卡提供400G带宽和RDMA卸载加速,优化网络传输。CIPU作为云基础设施核心,支持虚拟化、存储与网络资源池化,提升资源利用率和稳定性,未来将扩展至2*800G带宽,全面覆盖阿里云业务需求。这些技术共同推动了AI计算的高效互联与性能突破。
|
28天前
|
人工智能 搜索推荐 安全
数百名研发人员用通义灵码,33%新增代码由AI生成,信也科技研发模式焕新升级
目前,信也科技数百名研发人员正在使用通义灵码,周活跃用户占比70%,新增代码中有33%由通义灵码编写,整体研发效率提升了11%,真正实现了数百研发人员开发效能的全面提升。
|
12天前
|
存储 机器学习/深度学习 人工智能
科技云报到:人工智能时代“三大件”:生成式AI、数据、云服务
科技云报到:人工智能时代“三大件”:生成式AI、数据、云服务
|
2月前
|
存储 人工智能 弹性计算
阿里云弹性计算(ECS)提供强大的AI工作负载平台,支持灵活的资源配置与高性能计算,适用于AI训练与推理
阿里云弹性计算(ECS)提供强大的AI工作负载平台,支持灵活的资源配置与高性能计算,适用于AI训练与推理。通过合理优化资源分配、利用自动伸缩及高效数据管理,ECS能显著提升AI系统的性能与效率,降低运营成本,助力科研与企业用户在AI领域取得突破。
65 6

热门文章

最新文章