浅谈分布式数据库系统

简介: 【6月更文挑战第4天】该文探讨了数据库管理系统的解决方案,建议使用Redis和MQ作为缓存和中转,减轻数据库压力。分布式系统需透明处理数据位置,解决查询执行和正确性问题。了解这些底层设计有助于应对性能挑战。

简介

分布式数据库管理系统通过事务处理和查询执行算法保证透明性,处理容错。关键问题包括数据查找、分布式查询执行和一致性保证。

创世卵CosmicEgg1.png

分布式系统可分担逻辑数据库,实现容错。并行与分布式DBMS的区别在于物理距离、网络可靠性和通信成本。共享内存和磁盘架构各有优缺点。无共享环境提高性能但扩展性和一致性复杂。

分布式系统分担数据库负载,实现容错。与并行DBMS相比,分布式系统考虑更远距离、网络可靠性及通信成本。

共享内存和磁盘架构各有优劣,无共享环境提升性能但扩展性和一致性复杂。

使用Redis和MQ类型的中间件作为缓存和中转可减轻数据库压力。

1 解决方案

一个直截了当的方案是,我们可以利用Redis,MQ中间件的数据缓存,内容分发等功能,作为缓存站和中转站分担数据库压力。

分布式数据库管理系统 将单个逻辑数据库划分到多个物理资源中。
应用程序(通常)不知道数据被拆分到单独的硬件上。

该系统依赖于技术和来自单节点 数据库管理系统 的算法,支持分布式中的事务处理和查询执行环境。

设计分布式数据库管理系统的一个重要目标是容错(即避免单个或一个节点故障导致整个系统瘫痪)。

2 并行和分布式 数据库管理系统 之间的区别。

  • 并行集中式数据库:

      • 节点在物理上彼此靠近。
      • 节点通过高速 LAN(快速、可靠的通信结构)连接。
      • 假设节点之间的通信成本很小。因此,人们无需担心
    

关于设计内部协议时节点崩溃或数据包被丢弃。

  • 分布式数据库:

      • 节点之间可能相距很远。
      • 节点可能通过公共网络连接,这可能很慢且不可靠。
      • 通信成本和连接问题不容忽视(即节点可能会崩溃,数据包可能会被丢弃)。
    

数据库管理系统的系统体系结构指定 CPU 可以直接访问哪些共享资源。

它影响CPU 如何相互协调,以及它们在数据库中检索和存储对象的位置。

单节点数据库管理系统 使用所谓的共享一切架构。

此单个节点在具有自己的本地内存地址空间和磁盘的本地 CPU 上执行工作线程。

3 数据库共享内存

分布式系统中共享一切体系结构的替代方法是共享内存。

CPU 有权访问通过快速互连到公共存储器地址空间。CPU 也共享同一个磁盘。

实际上,大多数DBMS不使用此体系结构,因为它是在操作系统/内核级别提供的。

它还会导致问题,因为每个进程的内存范围是相同的内存地址空间,可以修改通过多个进程。

每个处理器都有所有内存中数据结构的全局视图。处理器上的每个 DBMS 实例必须“知道”其他实例。

4 数据库共享磁盘

在共享磁盘架构中,所有 CPU 都可以通过互连直接读取和写入单个逻辑磁盘,但每个人都有自己的私人记忆。这种方法在基于云的 DBMS 中更为常见。

数据库管理系统 的执行层可以独立于存储层进行扩展。

添加新的存储节点或执行节点不会影响数据在其他层中的布局或位置。

节点必须在它们之间发送消息以了解其他节点的当前状态。

也就是说,由于内存是本地,如果数据被修改,则在数据片段位于其他 CPU 的主内存。

节点有自己的缓冲池,被视为无状态。节点崩溃不会影响数据库,因为它单独存储在共享磁盘上。

5 数据库不共享任何内容

在无共享环境中,每个节点都有自己的 CPU、内存和磁盘。节点仅通信通过网络相互交流。

在此体系结构中增加容量更加困难,因为 管理系统 必须物理移动数据到新节点。

以确保数据库管理系统 中所有节点的一致性也很困难,因为节点必须在事务状态上相互协调。

然而,好处是没有共享任何东西,数据库管理系统有可能实现更好的性能,并且比其他类型的分布式数据库管理系统体系结构。

分布式数据库管理系统旨在保持数据透明度,这意味着用户不应该被要求知道数据的物理位置,或表的分区或复制方式。

数据如何形成的详细信息存储对应用程序隐藏。

换句话说,在单节点数据库管理系统 上工作的 SQL 查询应该在分布式数据库管理系统上工作相同。

分布式数据库系统必须解决的关键设计问题如下:

• 应用程序如何查找数据?
• 应该如何对分布式数据执行查询?
• 是否应将查询推送到数据的位置?
• 还是应该将数据汇集到一个公共位置以执行查询?
• DBMS 如何确保正确性?

6 小结

即使目前参与开发的项目体量都比较小,数据库性能问题还没有凸显。

但经过压力测试,提前对业务的大体量场景存在的性能障碍有了一定了解,

并且理解数据库管理系统的底层设计思路总是有好处的。

目录
相关文章
|
SQL 关系型数据库 MySQL
乐观锁在分布式数据库中如何与事务隔离级别结合使用
乐观锁在分布式数据库中如何与事务隔离级别结合使用
202 5
|
5月前
|
存储 监控 分布式数据库
ClickHouse分布式数据库动态伸缩(弹性扩缩容)的实现
实现ClickHouse数据库的动态伸缩需要持续的维护和精细的操作。从集群配置到数据迁移,再到监控和自动化,每一步都要仔细管理以确保服务的可靠性和性能。这些活动可以显著提高应用的响应性和成本效率,帮助业务根据实际需求灵活调整资源分配。
349 10
|
6月前
|
存储 关系型数据库 分布式数据库
【赵渝强老师】基于PostgreSQL的分布式数据库:Citus
Citus 是基于 PostgreSQL 的开源分布式数据库,采用 shared nothing 架构,具备良好的扩展性。它以插件形式集成,部署简单,适用于处理大规模数据和高并发场景。本文介绍了 Citus 的基础概念、安装配置步骤及其在单机环境下的集群搭建方法。
534 2
|
SQL 关系型数据库 MySQL
乐观锁在分布式数据库中如何与事务隔离级别结合使用
乐观锁在分布式数据库中如何与事务隔离级别结合使用
|
8月前
|
SQL 存储 分布式数据库
分布式存储数据恢复—hbase和hive数据库数据恢复案例
分布式存储数据恢复环境: 16台某品牌R730xd服务器节点,每台服务器节点上有数台虚拟机。 虚拟机上部署Hbase和Hive数据库。 分布式存储故障: 数据库底层文件被误删除,数据库不能使用。要求恢复hbase和hive数据库。
295 12
|
存储 SQL 分布式数据库
OceanBase 入门:分布式数据库的基础概念
【8月更文第31天】在当今的大数据时代,随着业务规模的不断扩大,传统的单机数据库已经难以满足高并发、大数据量的应用需求。分布式数据库应运而生,成为解决这一问题的有效方案之一。本文将介绍一款由阿里巴巴集团自主研发的分布式数据库——OceanBase,并通过一些基础概念和实际代码示例来帮助读者理解其工作原理。
1234 0
|
10月前
|
SQL 运维 关系型数据库
体验用分布式数据库突破资源瓶颈,完成任务领智能台灯!
体验用分布式数据库突破资源瓶颈,完成任务领智能台灯!
|
10月前
|
SQL 数据建模 BI
【YashanDB 知识库】用 yasldr 配置 Bulkload 模式作单线程迁移 300G 的业务数据到分布式数据库,迁移任务频繁出错
问题描述 详细版本:YashanDB Server Enterprise Edition Release 23.2.4.100 x86_64 6db1237 影响范围: 离线数据迁移场景,影响业务数据入库。 外场将部分 NewCIS 的报表业务放到分布式数据库,验证 SQL 性能水平。 操作系统环境配置: 125G 内存 32C CPU 2T 的 HDD 磁盘 问题出现的步骤/操作: 1、部署崖山分布式数据库 1mm 1cn 3dn 单线启动 yasldr 数据迁移任务,设置 32 线程的 bulk load 模式 2、观察 yasldr.log 是否出现如下错
|
11月前
|
容灾 关系型数据库 分布式数据库
PolarDB分布式版:与云融合的分布式数据库发展新阶段
PolarDB分布式版标志着分布式数据库与云融合的新阶段。它经历了三个发展阶段:从简单的分布式中间件,到一体化分布式架构,再到云原生分布式数据库。PolarDB充分利用云资源的弹性、高性价比、高可用性和隔离能力,解决了大规模数据扩展性问题,并支持多租户场景和复杂事务处理。零售中台的建设背景包括国家数字化转型战略及解决信息孤岛问题,采用分布式数据库提升高可用性和性能,满足海量订单处理需求。展望未来,零售中台将重点提升容灾能力、优化资源利用并引入AI技术,以实现更智能的服务和更高的业务连续性。
363 9