HBase 角色介绍 | 学习笔记

简介: 快速学习 HBase 角色介绍。

开发者学堂课程【分布式数据库 HBase快速入门:HBase 角色介绍】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/101/detail/1739


HBase 中的角色


内容介绍

一.HMaster

二.RegionServer .

三.其他组件


一. HMaster .

·功能

1.监控 RegionServer  

2,处理 RegionServer 故障转移

3,处理元数据的变更。

4,处理 region 的分配或转移。

5.在空闲时同进行数据的负载均衡。

6.通过 Zookeeper 发布自己的位置给客户端。


二. RegionServer .

·功能

1负责存储 HBese 的实际数据

2.处理分配给它的 Regione  

3.刷新缓存到 HDFS  

4.维护 Hlog  

5.执行压缩

6.负责处理 Region 分片


三. 其他组件    

1.Write - Ahead logs  

2.HBase 的修改记录,当对 HBase 读写数据的时候,数据不是直接写进磁盘,它会在内存中保留一段时间(时间以及数据量阔值可以设定)。

但把数据保存在内存中可能有更高的概率引起数据丢失,为了解决这个问题,数据会先写在一个叫做 Write -Ahead logfile 的文件中。然后再写入内存中。

所以在系统出现故障的时候,数据可以通过这个日志文件重建。

3.Rogion

4.  Hbase 表的分片, HBase 表会根据 RomKey 值被切分成不同的 region 存储在 RegionSenver 中,在一个 RepionSener 中可以有多个不同的 region

5.Store.

6.HFile 存储在 Store 中,一个 Store 对应 HBase 表中的一个列族。

7.MemStore

8.顾名思义,就是内存存储。位于内存中,用来保存当前的数据操作,所以当数据保存在 WAL 中之后, RegsionServer 会在内存中存储键值对。

9. HFile .

10.这是在磁盘上保存原始数据的实际的物理文件,是实际的存储文件, StoreFile 是以 Hfile 的形式存储在 HDFS 的。

相关文章
|
存储 SQL 自然语言处理
基于 HBase 的海量数据查询与检索解析|学习笔记
快速学习基于 HBase 的海量数据查询与检索解析
基于 HBase 的海量数据查询与检索解析|学习笔记
|
存储 前端开发 Cloud Native
基于 HBase 快速构架海量订单存储系统|学习笔记
快速学习基于 HBase 快速构架海量订单存储系统
基于 HBase 快速构架海量订单存储系统|学习笔记
|
存储 搜索推荐 Java
如何基于 HBase 构建图片、视频数据的统一存储检索方案|学习笔记
快速学习如何基于 HBase 构建图片、视频数据的统一存储检索方案
如何基于 HBase 构建图片、视频数据的统一存储检索方案|学习笔记
|
SQL 存储 边缘计算
HBase&Hive 2(三)|学习笔记
快速学习 HBase&Hive 2(三)
195 0
HBase&Hive 2(三)|学习笔记
|
SQL 存储 分布式计算
HBase&Hive 2(二)|学习笔记
快速学习 HBase&Hive 2(二)
152 0
HBase&Hive 2(二)|学习笔记
|
存储 SQL 分布式计算
HBase&Hive 2(一)|学习笔记
快速学习 HBase&Hive 2(一)
200 0
HBase&Hive 2(一)|学习笔记
|
存储 SQL 缓存
HBase&HIve 1|学习笔记
快速学习 HBase&HIve 1
345 0
HBase&HIve 1|学习笔记
|
SQL 消息中间件 存储
基于 HBase 的大数据在线分析|学习笔记
快速学习基于 HBase 的大数据在线分析
基于 HBase 的大数据在线分析|学习笔记
|
XML 缓存 分布式计算
集成 Oozie 服务&集成 Hbase 服务 | 学习笔记
快速学习 集成 Oozie 服务&集成 Hbase 服务
190 0
集成 Oozie 服务&集成 Hbase 服务 | 学习笔记
|
存储 监控 分布式数据库
HBase 原理_6 | 学习笔记
快速学习 HBase 原理_6
169 0
HBase 原理_6 | 学习笔记