HBase数据存储和架构

简介: 笔记

1.Table中的所有的行都是按照row key 字典序排列


2.Table在行的方向上分割为多个region


3.Region按大小分割的,每个表开始只有一个region,随着数据量的增多,region不断的增大,当增大到一个阈值的时候,region就会等分两个新的region,之后会有越来越多的region;


4.Region是HBase中分布式存储和负载均衡的最小单元。不同的region分布到不同的RegionServer上;


5.Region虽然是分布式存储的最小单元,但并不是存储的最小单元


Region由一个或者多个store组成,每个store对应一个CF

每个store又由一个memstore和0到多个storeFile组成

memstore存储在内存中,storefile存储在HDFS上


6.hbase命名空间


default -> 用户自定义的表

/stu
   /region
      /hstore=cf
          /storeFiles

hbase -> 系统自动的元数据表(namespace,meta)

  /namespace
  /meta

查看所有的命名空间:list_namespace

查看此命名空间下的表:list_namespace_tables

7.读hbae数据流程

client   -> zookeeper(meta-region-server)   ->hbase:meta   -> region<=>regionserver

用户发起读的请求之后,首先会去读zookeeper上meta-region-server表信息,通过这个表可以找到HBase:meta表

存放在哪个RegionServer上,然后再去对应的RegionServer上获取HBase:meta表的信息,此meta表信息记录了

HBase所有表的region信息。我们可以通过namespace、表名、rowkey定位要读取的是哪个RegionServer上的region


相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
4月前
|
存储 负载均衡 分布式数据库
bigdata-27-HBase架构与概念
bigdata-27-HBase架构与概念
91 1
|
2月前
|
存储 分布式数据库 数据库
Hbase学习二:Hbase数据特点和架构特点
Hbase学习二:Hbase数据特点和架构特点
48 0
|
18天前
|
存储 安全 数据建模
如何选择优秀数据存储架构
如何选择优秀数据存储架构
|
3月前
|
存储 SQL 分布式计算
技术心得记录:深入学习HBase架构原理
技术心得记录:深入学习HBase架构原理
|
4月前
|
存储 分布式计算 分布式数据库
对给定的数据利用MapReduce编程实现数据的清洗和预处理,编程实现数据存储到HBase数据库,实现数据的增删改查操作接口
对给定的数据利用MapReduce编程实现数据的清洗和预处理,编程实现数据存储到HBase数据库,实现数据的增删改查操作接口
45 0
|
10月前
|
存储 缓存 算法
分布式数据库架构:高可用、高性能的数据存储
分布式数据库架构:高可用、高性能的数据存储
908 0
|
存储 分布式计算 监控
分布式数据库HBase的基本概念和架构之基本架构的Region Server
分布式数据库HBase是一个开源的分布式数据库系统,是Apache Hadoop生态系统的重要组成部分。
397 0
|
存储 分布式计算 监控
分布式数据库HBase的基本概念和架构之基本架构的Master
分布式数据库HBase是一个开源的分布式数据库系统,是Apache Hadoop生态系统的重要组成部分。
337 0
|
4月前
|
Java Shell 分布式数据库
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
134 0
|
3月前
|
存储 分布式计算 Hadoop
Hadoop节点文件存储HBase设计目的
【6月更文挑战第2天】
48 6