HBase 原理_5 | 学习笔记

简介: 快速学习 HBase 原理_5

开发者学堂课程【HBase入门教程HBase 原理_5】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/397/detail/5065


HBase 原理_5


内容介绍:

一.HBase 体系架构

二.HBase 数据模型


一、HBase 体系架构

image.png

1.Master

Region server 分配 region

负责 Region server 的负载均衡

发现失效的 Region server 井重新分配其上的 region

管理用户对 table 的増删改操作

2.RegionServe

Region server 维护 region,处理对这些 region IO 请求

Region server 负责切分在运行过程中变得过大的 region


二、HBase 数据模型

Meinstore storefile

一个 region 由多个 store 组成,

一个 store 对应一个 CF(列族)

store 包括位于内存中的 memstore 和位于磁盘的 storefile 写操作先写入 memstore,memstore 中的数据达到某个值, hregionserver 会启动 flashcache 进程写人 storefile,毎次写人形成单独的一个 storefile

storefile 文件的数量増长到一定阀值后,系统会进行合井( minor major compaction),在合并过程中会进行版本合并和删除工作(majar),形成更大的 storcfile

当个 region 所有 storefile 的大小和数量超过一定阀值后,会把当前的 region 分割为两个,并由  hmister 分配到相应的regionserver 服务器,实现负载均衡

客户端检索数据,先在 memnstorc ,找不到再找 storcfile

HRegion HBase 中分布式存储和负载均衡的最小单元。最小单元就表示不同的 HRegion 可以分布在不同的 HRegion server 上。  HRegion  由一个或者多个 Store  组成,每个  store 保存一个 columns family  ,每个  Strore 又由一个 memStore 0至多个 StoreFile 组成。如图: StoreFile HFile 格式保存在 HDFS 上。

image.png

Client

包含访问HBase的接口并维护 cache 来加快对 HBase 的访问

Zookeeper

保证任何时候,集群中只有一个 master

存贮所有 Region 的寻址入口。

实时监控 Region server 的上线和下线信息。并实时通知 Master

存储 HBase schema table 元数据

相关文章
|
存储 负载均衡 监控
HBase分布式数据库架构及原理
Client是操作HBase集群的入口,对于管理类的操作,如表的增、删、改操纵,Client通过RPC与HMaster通信完成,对于表数据的读写操作,Client通过RPC与RegionServer交互,读写数据。
1039 0
HBase分布式数据库架构及原理
|
存储 SQL 分布式计算
技术心得记录:深入学习HBase架构原理
技术心得记录:深入学习HBase架构原理
|
存储 算法 分布式数据库
HBase原理 | HBase内部探险
HBase原理 | HBase内部探险
500 0
|
存储 运维 监控
分布式数据库HBase的重要机制和原理的宕机恢复和故障处理
HBase是一个分布式数据库系统,支持高可用性、高性能和高伸缩性。在分布式环境中,数据的分布式存储和管理是非常重要的。HBase通过分布式存储和管理数据来实现高可用性和高性能。同时,HBase还提供了一些重要的机制和原理来支持宕机恢复和故障处理。
667 1
|
存储 缓存 负载均衡
98 hbase原理
98 hbase原理
147 0
|
存储 分布式计算 NoSQL
HBase的数据结构原理与使用
关键词:HBase Hadoop 大数据 大数据存储 数据开发 数据库
1700 0
HBase的数据结构原理与使用
|
存储 分布式计算 关系型数据库
Hbase原理介绍和使用场景分析
Hbase原理介绍和使用场景分析
1423 0
|
存储 缓存 负载均衡
HBASE原理整理
HBASE原理整合
328 0
|
存储 容灾 大数据
分布式数据库HBase的重要机制和原理的容灾与备份机制
在当今的互联网时代,数据的安全性和可靠性已经成为了企业的核心竞争力之一。而在大数据领域,分布式数据库HBase作为一个开源的分布式数据库系统,因其高性能、高可靠性和易于扩展性等特点,受到了广泛的应用。本文将深入探讨HBase中的重要机制之一:容灾与备份机制,帮助开发者更好地理解和掌握HBase的工作原理。
606 0
|
存储 负载均衡 大数据
分布式数据库HBase的重要机制和原理的负载均衡原理
在当今的互联网时代,数据的存储和处理已经成为了企业的核心竞争力之一。而在大数据领域,分布式数据库HBase作为一个开源的分布式数据库系统,因其高性能、高可靠性和易于扩展性等特点,受到了广泛的应用。本文将深入探讨HBase中的重要机制之一:负载均衡原理,帮助开发者更好地理解和掌握HBase的工作原理。
681 0