分布式数据库系统的分类及体系架构 | 学习笔记

简介: 快速学习 分布式数据库系统的分类及体系架构

开发者学堂课程【分布式数据库技术与实现分布式数据库系统的分类及体系架构】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/373/detail/4688


分布式数据库系统的分类及体系架构


目录  

一. 分布式数据库系统的分类

二. 体系架构

.垂直分片和水平分片的区别


一.分布式数据库系统的分类

分为以下三类

1.  同质同构数据库

指完全相同的数据库,如每一个分库都是 Oracle

2.  同质异构数据库

如讲 OracleMySQLPostgreSQL 混用,三者是不同的数据库,但实际本质上都是关系型数据库。

3.  异构数据库

如关系型数据库跟文档数据库跟搜索引擎

在同一个逻辑里,最常见的是同质同构数据库,一般从运维的角度来讲,相同的数据库更便于运维,从全局的角度来讲,异构体数据库更常见,由于关系数据库,文档数据库跟搜索引擎每一种不同数据库在处理性能,还有功能方面有各自的优势,

所以如在商品交易系统里,使用关系数据库,但是同时产品要提供搜索,因此要把关系数据库跟搜索引擎整个纳入系统,所以从全局角度看,这是一个异构数据库。

image.png


二.体系架构

1.数据分片

2.数据分配

由于把全局数据分散到不同的地域,就涉及到分配的标准,分配的方法主要是两个维度:

1>分割分配

所谓的分割分配是指把数据分散到不同的节点,并且每一个节点之间的数据是不互相重复的,所有结点的总和是数据的全集。

2>全复制分配

每一个节点都拥有全量的数据,不同节点之间的数据都是完全相同的,这样的数据库往往用在解决”读”的问题,即当只有读的压力比较大,而数据的种量还有数据的写性能还没有达到瓶颈,全复制分配是一种不错的分配方案。

最常见的还是分割分配跟全复制分配的混合结构,如按地区分割成不同的存储节点,而在同一个地区里,由于要保证数据的安全性,同一个地区的数据会复制出多个节点,每个节点拥有整个地区的数据,从这种结构上就是分割分配跟全复制分配的混合。

数据分配架构决定了不同节点之间的逻辑关系,从工程角度还要考虑数据的分片,常见的三种分片:

1> 水平分片

水平分片就是按行拆分,如同一地区的商品,仍然按照不同的卖家来分配到不同的表里,这种分配格式里,不同的分片之间,它们的数据结构是一样的,即他们的字段数目跟字段类型是一样的,把所有数据的行合并到一起,就是数据的全集。

2> 垂直分片

垂直分片即将一张表的数据按字段分成多个表,基本的分片方法是将频繁更新的字段跟不平凡更新的字段分开,将大字段跟小字段分开,这种分片方式最主要的目的减少更新对磁盘造成的影响,如一个商品有颜色,价格,详细信息,描述等,还有库存,实际上如库存这样的字段会经常更新,而像商品介绍是不经常更新的,把它分开就可以避免由于我们更新产品库存而导致整个表的更新量变得更大。

3>混合分片

混合分片就是同时使用水平跟垂直两种分片结构。


三.垂直分片和水平分片的区别

水平分片本身已经包含了整个表的结构,因此不需要冗余字段,而垂直分片,需要一个字段能够用来标识两个不同的表之间的逻辑一致性,如将商品的详细信息这个字段单独区分开,放在一个额外的表,就需要在这张表里面也存一个商品的 ID ,因此垂直分片本身天然的就会造成冗余。

不论是将数据如何分配到不同的节点,分布式数据库系统要求分片里面一定要满足以下的几个规则:

1>完备性

所有的数据虽然被分配到不同的节点,但是所有节点和总和必须包含完整的信息。

2>重构条件

把数据分配到不同的节点以后,一定要有线索将数据通过固定的方法合并成完整的数据。如垂直分片的方法,如果商品信息的表本身没有商品 ID,就会导致无法将商品详情合并回商品表。

3>不相交条件

如一个商品不会同时出现在两个不同的地区

实际上在工程实现上12是必须完全满足的,第三个条件,从数据的可靠性或从访问的速度考虑,会做一些妥协。

相关文章
|
3月前
|
SQL 前端开发 关系型数据库
如何开发一套研发项目管理系统?(附架构图+流程图+代码参考)
研发项目管理系统助力企业实现需求、缺陷与变更的全流程管理,支持看板可视化、数据化决策与成本优化。系统以MVP模式快速上线,核心功能包括需求看板、缺陷闭环、自动日报及关键指标分析,助力中小企业提升交付效率与协作质量。
|
2月前
|
数据采集 机器学习/深度学习 运维
量化合约系统开发架构入门
量化合约系统核心在于数据、策略、风控与执行四大模块的协同,构建从数据到决策再到执行的闭环工作流。强调可追溯、可复现与可观测性,避免常见误区如重回测轻验证、忽视数据质量或滞后风控。初学者应以MVP为起点,结合回测框架与实时风控实践,逐步迭代。详见相关入门与实战资料。
|
3月前
|
JSON 文字识别 BI
如何开发车辆管理系统中的加油管理板块(附架构图+流程图+代码参考)
本文针对中小企业在车辆加油管理中常见的单据混乱、油卡管理困难、对账困难等问题,提出了一套完整的系统化解决方案。内容涵盖车辆管理系统(VMS)的核心功能、加油管理模块的设计要点、数据库模型、系统架构、关键业务流程、API设计与实现示例、前端展示参考(React + Antd)、开发技巧与工程化建议等。通过构建加油管理系统,企业可实现燃油费用的透明化、自动化对账、异常检测与数据分析,从而降低运营成本、提升管理效率。适合希望通过技术手段优化车辆管理的企业技术人员与管理者参考。
|
3月前
|
消息中间件 缓存 JavaScript
如何开发ERP(离散制造-MTO)系统中的生产管理板块(附架构图+流程图+代码参考)
本文详解离散制造MTO模式下的ERP生产管理模块,涵盖核心问题、系统架构、关键流程、开发技巧及数据库设计,助力企业打通计划与执行“最后一公里”,提升交付率、降低库存与浪费。
|
2月前
|
前端开发 JavaScript BI
如何开发车辆管理系统中的车务管理板块(附架构图+流程图+代码参考)
本文介绍了中小企业如何通过车务管理模块提升车辆管理效率。许多企业在管理车辆时仍依赖人工流程,导致违章处理延误、年检过期、维修费用虚高等问题频发。将这些流程数字化,可显著降低合规风险、提升维修追溯性、优化调度与资产利用率。文章详细介绍了车务管理模块的功能清单、数据模型、系统架构、API与前端设计、开发技巧与落地建议,以及实现效果与验收标准。同时提供了数据库建表SQL、后端Node.js/TypeScript代码示例与前端React表单设计参考,帮助企业快速搭建并上线系统,实现合规与成本控制的双重优化。
|
3月前
|
数据采集 运维 数据可视化
AR 运维系统与 MES、EMA、IoT 系统的融合架构与实践
AR运维系统融合IoT、EMA、MES数据,构建“感知-分析-决策-执行”闭环。通过AR终端实现设备数据可视化,实时呈现温度、工单等信息,提升运维效率与生产可靠性。(238字)
|
3月前
|
人工智能 监控 测试技术
告别只会写提示词:构建生产级LLM系统的完整架构图​
本文系统梳理了从提示词到生产级LLM产品的八大核心能力:提示词工程、上下文工程、微调、RAG、智能体开发、部署、优化与可观测性,助你构建可落地、可迭代的AI产品体系。
592 51
|
2月前
|
缓存 Cloud Native 中间件
《聊聊分布式》从单体到分布式:电商系统架构演进之路
本文系统阐述了电商平台从单体到分布式架构的演进历程,剖析了单体架构的局限性与分布式架构的优势,结合淘宝、京东等真实案例,深入探讨了服务拆分、数据库分片、中间件体系等关键技术实践,并总结了渐进式迁移策略与核心经验,为大型应用架构升级提供了全面参考。
|
2月前
|
机器学习/深度学习 人工智能 缓存
面向边缘通用智能的多大语言模型系统:架构、信任与编排——论文阅读
本文提出面向边缘通用智能的多大语言模型(Multi-LLM)系统,通过协同架构、信任机制与动态编排,突破传统边缘AI的局限。融合合作、竞争与集成三种范式,结合模型压缩、分布式推理与上下文优化技术,实现高效、可靠、低延迟的边缘智能,推动复杂场景下的泛化与自主决策能力。
289 3
面向边缘通用智能的多大语言模型系统:架构、信任与编排——论文阅读
|
2月前
|
人工智能 自然语言处理 安全
AI助教系统:基于大模型与智能体架构的新一代教育技术引擎
AI助教系统融合大语言模型、教育知识图谱、多模态交互与智能体架构,实现精准学情诊断、个性化辅导与主动教学。支持图文语音输入,本地化部署保障隐私,重构“教、学、评、辅”全链路,推动因材施教落地,助力教育数字化转型。(238字)

热门文章

最新文章