AI 助理
备案控制台
开发者社区 数据库 文章 正文

HBase flush&split&compact

2017-04-09 1766
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： HBase的memstore flush处理流程，以及split/compact的处理流程

HBase memstore flush:
HBase_flush_jpeg

HBase region split:
HBase_split_jpeg

HBase column family HStore compact:
HBase_compact_jpeg

文章标签：
云数据库HBase版
Hbase
分布式数据库
关键词：
云数据库HBase版flush
云数据库HBase版compact
云数据库HBase版split
寒沙牧
目录
相关文章
hope+
|
监控 数据可视化 Shell
读者来信 | 如何判断HBase Major Compact是否执行完毕？（已解决）
hope+
1530 0
三分钟热度的鱼
|
SQL 关系型数据库 分布式数据库
Flink报错问题之用flush方法写入hbase报错如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
三分钟热度的鱼
306 1
sunt_dota
|
分布式数据库 Hbase Java
hbase region split源码分析
hbase region split ： split执行调用流程： 1.HbaseAdmin发起split：### 2.RSRpcServices实现类执行split（Implements the regionserver RPC services.）### 3.CompactSplitThread类与SplitRequest类用来执行region切割:### 4.splitRequest执行doSplitting操作### 4.1初始化两个子region### 4.2执行切割#### 4.2.1：（创建子region。
sunt_dota
1912 0
壹佰、
|
NoSQL 大数据 分布式数据库
【HBase】(6)-Compact合并StoreFile流程
【HBase】(6)-Compact合并StoreFile流程
壹佰、
401 0
【HBase】(6)-Compact合并StoreFile流程
dasein58
|
分布式计算 分布式数据库 Hbase
Hbase compact以及split跟踪
为了准确了解HBASE内部工作原理，我们需要做一些测试，在大量数据插入的情况下，HBASE内部到底有什么表现？ 比如插入速度， hstore compact，split等相关活动，了解了这些才能更好的维护HBASE系统本身。 此次测试会有几轮，所以测试到哪里就写到哪里，我随便找了一张大概120W来的表，我会写一个mapreduce任务，来读取这张表，再写入另外一个测试表: test2, 没有选择更大的表是因为毕竟整个拷贝是需要时间，通常20分钟-30分钟，太大的表，不太利于跟踪。 拷贝过程，HBASE会针对此表有相关的活动日志，依据日志，我们来看看HBASE到底在干什么。 测试开始,
dasein58
322 0
柏辰爸爸
|
分布式数据库 Hbase 存储
HBase源码分析之HRegion上compact流程分析（一）
        首先来想两个问题：1、何谓compact？2、它产生的背景是怎样的？         compact是指HBase表中HRegion上某个Column Family下，部分或全部HFiles的合并。
柏辰爸爸
1159 1
知与谁同
|
缓存 Java 分布式数据库
HBase – Memstore Flush深度解析
知与谁同
2217 0
柏辰爸爸
|
分布式数据库 Hbase
HBase源码分析之compact请求发起时机、判断条件等详情（二）
        近期推出，敬请期待！
柏辰爸爸
1047 0
柏辰爸爸
|
分布式数据库 Hbase
HBase源码分析之MemStore的flush发起时机、判断条件等详情（二）
        在《HBase源码分析之MemStore的flush发起时机、判断条件等详情》一文中，我们详细介绍了MemStore flush的发起时机、判断条件等详情，主要是两类操作，一是会引起MemStore数据大小变化的Put、Delete、Append、Increment等操作，二是会引起HRegion变化的诸如Regin的分裂、合并以及做快照时的复制拷贝等，同样会触发MemStore的flush流程。
柏辰爸爸
1676 0
柏辰爸爸
|
存储 Java Shell
HBase源码分析之HRegionServer上compact流程分析
        前面三篇文章中，我们详细叙述了compact流程是如何在HRegion上进行的，了解了它的很多细节方面的问题。但是，这个compact在HRegionServer上是如何进行的？合并时文件是如何选择的呢？在这篇文章中，你将找到答案！         首先，在HRegionServer内部，我们发现，它定义了一个CompactSplitThread类型的成员变量compactSplitThread，单看字面意思，这就是一个合并分裂线程，那么它会不会就是HRegionServer上具体执行合并的工作线程呢？我们一步一步来看。
柏辰爸爸
1538 0

热门文章

最新文章

  • 1
    HBase read replicas 功能介绍系列
  • 2
    开源大数据技术专场（上午）:Spark、HBase、JStorm应用与实践
  • 3
    如何降低90%Java垃圾回收时间？以阿里HBase的GC优化实践为例
  • 4
    对比MySQL，一文看透HBase的能力及使用场景
  • 5
    如何降低90%Java垃圾回收时间？以阿里HBase的GC优化实践为例
  • 6
    HBase进化之从NoSQL到NewSQL，凤凰涅槃成就Phoenix
  • 7
    HBase系统架构
  • 8
    深入解读HBase2.0新功能之高可用读Region Replica
  • 9
    【干货合集】NoSQL技术体系深度解读系列（三）：HBase，海量数据存储、超高并发量场景下的NoSQL利器
  • 10
    双研究员带你了解数据库技术现状，及阿里云为什么要推出HBase
  • 1
    【赵渝强老师】HBase的物理存储结构
    457
  • 2
    【赵渝强老师】HBase的逻辑存储结构
    285
  • 3
    Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
    498
  • 4
    【赵渝强老师】HBase的体系架构
    463
  • 5
    分布式存储数据恢复—hbase和hive数据库数据恢复案例
    292
  • 6
    在 HBase 集群中，Prometheus 通常监控哪些类型的性能指标？
    712
  • 7
    如何使用 HBase Shell 进行数据的实时监控和备份？
    297
  • 8
    如何使用 HBase Shell 进行数据的批量导入和导出？
    918
  • 9
    【赵渝强老师】HBase的体系架构
    618
  • 10
    【赵渝强老师】HBase的表结构
    501

    • 相关课程

    更多
  • HBase入门与实战
  • 云数据库HBase版使用教程
  • HBase入门教程
  • 分布式数据库 HBase 快速入门

    • 相关电子书

    更多
  • 大数据时代的存储 ——HBase的实践与探索
  • Hbase在滴滴出行的应用场景和最佳实践
  • 阿里云HBase主备双活
    • 下一篇
    「直播预告」Streaming Lakehouse Meetup EP.2｜Paimon × StarRocks 共话实时湖仓