文件存储CPFS
文件存储CPFS(Cloud Parallel File Storage)是阿里云完全托管、可扩展的并行文件存储系统,支 持POSIX\MPI-IO和NFS协议,针对GPU和CPU计算场景进行了深度优化,提供对数据亚毫秒级的访问和百 万级IOPS的数据读写请求,可以用于AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探、气象分析 以及影视渲染等业务场景。
产品亮点
产品功能
支持文件协议高性能访问
支持标准的POSIX、MPI-IO、NFS协议,并 支持协议互访,高性能计算程序无需进行 任何接口适配和性能优化即可高效率执行。
统一命名空间下的子文件系统Fileset
在统一命名空间下,通过Fileset对文件系统 进行切分独立管理。实现不同业务、不同部 门之间的容量合理规划、数据和性能隔离、 数据生命周期管理。
CPFS与OSS数据流动
方便的数据流动能力,让CPFS成为OSS数据 的高性能加速器,AI\HPC等应用可以方便的 通过CPFS的高性能文件接口访问OSS中的海 量数据。冷数据也可流入低成本OSS,降低 存储整体费用。
全并行架构,可支持百亿文件, 百万IOPS和OPS,Tbps级吞吐
全闪存介质搭配RDMA高速网络,吞吐最大可 以扩展到数百GB/s,数据IOPS和元数据OPS 最大可以扩展到数百万。全并行多链接架构, 通过专属客户端支持几千个节点并行与CPFS 存储集群内的所有存储服务器建立连接,直读 直写数据分片,无单点瓶颈,最大限度地发挥 并行架构的优势。文件做block级别的分片, 分片均匀分布在存储集群内,单个文件的读写 可利用所有存储节点的IO带宽。支持数据自 动平衡,通过Restripe迁移数据分片,防止数 据热点。客户端缓存,可配置数据本地读缓 存,缩短访问时延。
应用场景
AI与自动驾驶训练
自动驾驶场景下,每台测试车每天将产生几十 TB数据,针对这些数据需要进行快速分析, 同时控制数据快速累积带来的成本增长。超高 性能CPFS存储可提高多机多卡GPU计算资源 的利用率,降低计算成本。云上CPFS弹性扩 展能力和即开即用,减少运维管理成本。 CPFS和OSS数据流动,实现云上云下无缝对 接,打通数据上传、计算、分发、归档全流程, 降低数据存储成本。
基因与药物小分子计算
基于阿里云优秀的基础架构和底层盘古分布式 存储系统,CPFS突破了传统NAS读强写弱的 瓶颈,读和写均可达到极高性能。满足对写也 有极高吞吐要求的基因计算的性能需求。 CPFS与OSS数据流动,打通原始数据上传、 计算、结果分发、归档全流程。
EDA仿真
分布式元数据架构,大文件分片读取实现大吞 吐,分布式元数据打散元数据访问压力,实现 小文件高OPS。一套系统可同时满足前端仿 真和后端仿真的需求。支持数据落盘加密,满 足数据安全需求。
影视渲染
文件存储CPFS通过缓存服务为影视渲染的 TB级数据提供几十GB/s的超大吞吐和百万 IOPS的性能,且可随渲染任务规模在线扩容 吞吐能力,业务无需中断。