带你读《云存储应用白皮书》之10:1. 自研分布式存储技术

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介: 带你读《云存储应用白皮书》之10:1. 自研分布式存储技术

技术产品


一、强大的技术基因


1. 自研分布式存储技术


1十年磨一剑的飞天盘古


分布式存储因其支持块、文件、HDFS、对象多种协议的特性,具有较好的场景适应性。面向云计算的大规模分布式存储系统,往往需要历经纯软件技术架构、用户态技术架构,再到软硬一体全栈融合技术架构的发展阶段。


2008年问世以来,飞天盘古作为阿里巴巴集团、蚂蚁集团业务的数据存储平台,在存储技术的理解、分析、分类和抽象等方面持续创新,一方面为了适应硬件的迭代更新;另一方面还要满足大规模及复杂业务场景的存储需求,主要体现在四个方面,即开放分层的分布式存储软件、高性能存储网络、硬件适配性和硬件架构创新,以及深度软硬融合的闪存存储架构。


一个大规模、高性能、高可靠、高可用、可伸缩的分布式存储平台,不仅需要为对象存储、表格存储、块存储、文件存储等不同存储产品提供分布式持久化核心存储层,而且要为上层的大数据处理、数据库、中间件、日志分析、邮箱、搜索等基础服务提供底层数据存储服务。

 

image.png 

 

 

2稳定压倒一切


开放分层的软件架构是飞天盘古在系统架构演进上的重要实践经验。飞天盘古数据服务层从上到下分为飞天盘古服务层、飞天盘古分布式功能层、单机存储引擎层和软硬件一体化层。


飞天盘古分布式功能层是一个公共的基础核心,提供多副本文件(典型配置为三副本)及纠删码文件的文件语义,并支持Direct I/OBuffer I/O适应不同业务访问模式的需求。


分布式功能层采用分布式元数据管理,支持单集群的大规模及系统的可伸缩性;提供良好设计的异常处理机制及数据复制机制,保证节点异常的性能稳定性及数据可靠性;采用端到端的QoS保证业务运行的SLA;采用端到端的CRC校验保证数据传输和存储过程中的数据完整性;后台CRC校验机制保障数据持久存储的可靠性;支持快速介质与慢速介质构成的混合存储模式,达到性能与成本的均衡。


3性能是极致追求


开放分层架构具备定义稳定和良好的接口,有利于系统自身的快速迭代。不仅如此,飞天盘古针对不同的硬件特点及应用场景进行了深度的优化和设计,包括:


分布式元数据服务。增强整体系统的元数据服务器能力,支持海量文件规模、灵活伸缩扩展,并摒弃中心节点带来的不足,提升分布式存储的可靠性及性能。


自研的分布式一致性协议。对软硬件异常进行容错,在保证可靠性的基础之上提升性能。


分布式纠删码技术将数据冗余从典型的3份副本降低至1.5份副本以下。


全自研的用户态存储引擎支持NVMe SSDHDD介质,充分发挥NVMe的性能,保证后端存储的I/O延时在10us以内;通过用户态存储引擎挖掘HDD磁盘的吞吐带宽,比基于Ext4的存储引擎性能翻倍。


全链路SLA服务保证I/O的稳定性,通过异常节点探测算法、异步写追加等方法来增强端至端的I/O服务质量。


在网络互联方面,飞天盘古针对存储网络面临的低延时、高吞吐、CPU占用等问题,提出了新的存储网络协议及技术架构。具体包括用户态TCP协议栈Luna、增强型RoCERDMA over Converged Ethernet)、全自研RDMA网络协议及软硬一体技术架构。在规模化生产环境下,端至端I/O延时降低至100us以内,造就了全球性能第一的ESSD云盘。

相关文章
|
9月前
|
负载均衡 测试技术 调度
大模型分布式推理:张量并行与流水线并行技术
本文深入探讨大语言模型分布式推理的核心技术——张量并行与流水线并行。通过分析单GPU内存限制下的模型部署挑战,详细解析张量并行的矩阵分片策略、流水线并行的阶段划分机制,以及二者的混合并行架构。文章包含完整的分布式推理框架实现、通信优化策略和性能调优指南,为千亿参数大模型的分布式部署提供全面解决方案。
2593 4
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
阿里云PolarDB云原生数据库在TPC-C基准测试中以20.55亿tpmC的成绩刷新世界纪录,展现卓越性能与性价比。其轻量版满足国产化需求,兼具高性能与低成本,适用于多种场景,推动数据库技术革新与发展。
|
10月前
|
消息中间件 监控 Java
Apache Kafka 分布式流处理平台技术详解与实践指南
本文档全面介绍 Apache Kafka 分布式流处理平台的核心概念、架构设计和实践应用。作为高吞吐量、低延迟的分布式消息系统,Kafka 已成为现代数据管道和流处理应用的事实标准。本文将深入探讨其生产者-消费者模型、主题分区机制、副本复制、流处理API等核心机制,帮助开发者构建可靠、可扩展的实时数据流处理系统。
852 4
|
9月前
|
机器学习/深度学习 监控 PyTorch
68_分布式训练技术:DDP与Horovod
随着大型语言模型(LLM)规模的不断扩大,从早期的BERT(数亿参数)到如今的GPT-4(万亿级参数),单卡训练已经成为不可能完成的任务。分布式训练技术应运而生,成为大模型开发的核心基础设施。2025年,分布式训练技术已经发展到相当成熟的阶段,各种优化策略和框架不断涌现,为大模型训练提供了强大的支持。
1088 0
|
10月前
|
JSON 监控 Java
Elasticsearch 分布式搜索与分析引擎技术详解与实践指南
本文档全面介绍 Elasticsearch 分布式搜索与分析引擎的核心概念、架构设计和实践应用。作为基于 Lucene 的分布式搜索引擎,Elasticsearch 提供了近实时的搜索能力、强大的数据分析功能和可扩展的分布式架构。本文将深入探讨其索引机制、查询 DSL、集群管理、性能优化以及与各种应用场景的集成,帮助开发者构建高性能的搜索和分析系统。
624 0
|
安全 JavaScript 前端开发
HarmonyOS NEXT~HarmonyOS 语言仓颉:下一代分布式开发语言的技术解析与应用实践
HarmonyOS语言仓颉是华为专为HarmonyOS生态系统设计的新型编程语言,旨在解决分布式环境下的开发挑战。它以“编码创造”为理念,具备分布式原生、高性能与高效率、安全可靠三大核心特性。仓颉语言通过内置分布式能力简化跨设备开发,提供统一的编程模型和开发体验。文章从语言基础、关键特性、开发实践及未来展望四个方面剖析其技术优势,助力开发者掌握这一新兴工具,构建全场景分布式应用。
1157 35
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
|
机器学习/深度学习 存储
DeepSeek进阶开发与应用4:DeepSeek中的分布式训练技术
随着深度学习模型和数据集规模的扩大,单机训练已无法满足需求,分布式训练技术应运而生。DeepSeek框架支持数据并行和模型并行两种模式,通过将计算任务分配到多个节点上并行执行,显著提高训练效率。本文介绍DeepSeek中的分布式训练技术,包括配置与启动方法,帮助用户轻松实现大规模模型训练。数据并行通过`MirroredStrategy`同步梯度,适用于大多数模型;模型并行则通过`ParameterServerStrategy`异步处理大模型。DeepSeek简化了分布式环境配置,支持单机多卡和多机多卡等场景。
|
存储 缓存 负载均衡
从零到一:分布式缓存技术初探
分布式缓存通过将数据存储在多个节点上,利用负载均衡算法提高访问速度、降低数据库负载并增强系统可用性。常见产品有Redis、Memcached等。其优势包括性能扩展、高可用性、负载均衡和容错性,适用于页面缓存、应用对象缓存、状态缓存、并行处理、事件处理及极限事务处理等多种场景。
889 1
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
691 2