《阿里云存储手册》——文件存储CPFS

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
简介: 《阿里云存储手册》——文件存储CPFS

文件存储CPFS


文件存储CPFS(Cloud Parallel File Storage)是阿里云完全托管、可扩展的并行文件存储系统,支 持POSIX\MPI-IO和NFS协议,针对GPU和CPU计算场景进行了深度优化,提供对数据亚毫秒级的访问和百 万级IOPS的数据读写请求,可以用于AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探、气象分析 以及影视渲染等业务场景。



产品亮点


image.png

产品功能


支持文件协议高性能访问

支持标准的POSIX、MPI-IO、NFS协议,并 支持协议互访,高性能计算程序无需进行 任何接口适配和性能优化即可高效率执行。


统一命名空间下的子文件系统Fileset

在统一命名空间下,通过Fileset对文件系统 进行切分独立管理。实现不同业务、不同部 门之间的容量合理规划、数据和性能隔离、 数据生命周期管理。


CPFS与OSS数据流动

方便的数据流动能力,让CPFS成为OSS数据 的高性能加速器,AI\HPC等应用可以方便的 通过CPFS的高性能文件接口访问OSS中的海 量数据。冷数据也可流入低成本OSS,降低 存储整体费用。


全并行架构,可支持百亿文件, 百万IOPS和OPS,Tbps级吞吐

全闪存介质搭配RDMA高速网络,吞吐最大可 以扩展到数百GB/s,数据IOPS和元数据OPS 最大可以扩展到数百万。全并行多链接架构, 通过专属客户端支持几千个节点并行与CPFS 存储集群内的所有存储服务器建立连接,直读 直写数据分片,无单点瓶颈,最大限度地发挥 并行架构的优势。文件做block级别的分片, 分片均匀分布在存储集群内,单个文件的读写 可利用所有存储节点的IO带宽。支持数据自 动平衡,通过Restripe迁移数据分片,防止数 据热点。客户端缓存,可配置数据本地读缓 存,缩短访问时延。


应用场景


AI与自动驾驶训练

自动驾驶场景下,每台测试车每天将产生几十 TB数据,针对这些数据需要进行快速分析, 同时控制数据快速累积带来的成本增长。超高 性能CPFS存储可提高多机多卡GPU计算资源 的利用率,降低计算成本。云上CPFS弹性扩 展能力和即开即用,减少运维管理成本。 CPFS和OSS数据流动,实现云上云下无缝对 接,打通数据上传、计算、分发、归档全流程, 降低数据存储成本。


基因与药物小分子计算

基于阿里云优秀的基础架构和底层盘古分布式 存储系统,CPFS突破了传统NAS读强写弱的 瓶颈,读和写均可达到极高性能。满足对写也 有极高吞吐要求的基因计算的性能需求。 CPFS与OSS数据流动,打通原始数据上传、 计算、结果分发、归档全流程。


EDA仿真

分布式元数据架构,大文件分片读取实现大吞 吐,分布式元数据打散元数据访问压力,实现 小文件高OPS。一套系统可同时满足前端仿 真和后端仿真的需求。支持数据落盘加密,满 足数据安全需求。


影视渲染

文件存储CPFS通过缓存服务为影视渲染的 TB级数据提供几十GB/s的超大吞吐和百万 IOPS的性能,且可随渲染任务规模在线扩容 吞吐能力,业务无需中断。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
存储 运维 监控
阿里云的文件存储NAS使用心得
阿里云的文件存储NAS使用心得
368 0
|
4月前
|
存储 NoSQL 文件存储
云计算问题之阿里云文件存储CPFS如何满足大模型智算场景的存储需求
云计算问题之阿里云文件存储CPFS如何满足大模型智算场景的存储需求
|
4月前
|
存储 人工智能 弹性计算
|
5月前
|
Cloud Native 文件存储 数据库
《阿里云产品四月刊》—CPFS 智算版数据流动(1)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
5月前
|
Cloud Native 文件存储 对象存储
《阿里云产品四月刊》—CPFS 智算版数据流动(3)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
《阿里云产品四月刊》—CPFS 智算版数据流动(3)
|
5月前
|
Cloud Native 对象存储 文件存储
《阿里云产品四月刊》—CPFS 智算版数据流动(2)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
存储 弹性计算 并行计算
在高性能计算(HPC)场景下,阿里云存储的文件存储产品的实践
在高性能计算(HPC)场景下,阿里云存储的文件存储产品具有以下的应用需求和实践
436 4
|
存储 弹性计算 监控
|
弹性计算 Linux DataWorks
阿里云ecs搭建简易ftp服务器-用于DataWorks文件存储及依赖校验
很多企业客户在使用阿里云产品时,经常需要与FTP服务器进行文件交互,诸如跨IDC任务done文件依赖,跨账号、部门临时数据交互等场景。这里简要记录阿里云ecs搭建简易ftp服务器用于上述场景答疑的过程。
|
存储 人工智能 Cloud Native
《阿里云存储手册》——文件存储NAS
《阿里云存储手册》——文件存储NAS
253 1