读者来信 | 如何判断HBase Major Compact是否执行完毕?(已解决)

简介:

前言:之前有朋友加好友与我探讨一些问题,我觉得这些问题倒挺有价值的;于是就想在本公众号开设一个问答专栏,方便技术交流与分享,专栏名就定为:《读者来信》。欢迎关注本人微信公众号《HBase工作笔记》,扫描文末二维码解锁更多姿势!

来信人:罗*铭

小猿提问

如何判断HBase Major Compact是否执行完毕?

小猿解答

这里提供两种查看方式:

一种是HBase WebUI 界面; 另外一种是HBase Shell命令行 。
我们下面看一下。

1. HBase WebUI

点击Web首页Compactions按钮查看每一个RS Compact完成情况;
点击ServerName进入RS Web页后点击Compaction Metrics可查看该RS上每一个Region Compact 完成情况。

2. HBase Shell

通过Shell方式查看同WebUI查看大同小异,只不过没有将这些指标可视化而已。如果有兴趣,可以自己采集这些指标做一个漂亮的监控界面~

通过命令 status 'simple' 可查看HBase RS级别的一些指标,其中 compactionProgressPct=1.0 即表明RS Compact完成。如下:

hbase(main):002:0> status 'simple'
active master:  xxx.xx.xx.xx:6000 1539254611835
1 backup masters
    xxx.xx.xx.xx:6000 1539254627238
4 live servers
    xxx.xx.xx.xx:6002 1575619570126
        requestsPerSecond=211.0, 
        numberOfOnlineRegions=293, 
        usedHeapMB=4861, 
        maxHeapMB=16384, 
        numberOfStores=293, 
        numberOfStorefiles=432, 
        storefileUncompressedSizeMB=97691, 
        storefileSizeMB=35689, 
        compressionRatio=0.3653, 
        memstoreSizeMB=891, 
        storefileIndexSizeMB=0, 
        readRequestsCount=738897443, 
        writeRequestsCount=717989941, 
        rootIndexSizeKB=5413, 
        totalStaticIndexSizeKB=149724, 
        totalStaticBloomSizeKB=63325, 
        totalCompactingKVs=1389414755, 
        currentCompactedKVs=1389414755, 
        compactionProgressPct=1.0, 
        coprocessors=[HBaseSimHashSetBuildSystem, MultiRowMutationEndpoint]
    xxx.xx.xx.xx:6002 1575619966048
        ...

0 dead servers
Aggregate load: 962, regions: 1176

通过命令 status 'detailed' 可查看HBase RS Region 级别的一些指标,其中 compactionProgressPct=1.0 即表明RS Compact完成。如下:

hbase(main):002:0> status 'detailed'
active master:  xxx.xx.xx.xx:6000 1539254611835
1 backup masters
    xxx.xx.xx.xx:6000 1539254627238
4 live servers
    xxx.xx.xx.xx:6002 1575619570126
        "namespace:table,20,1577443984105.518a1fbd9dd64e5956e591fa23556f48."
            numberOfStores=1, 
            numberOfStorefiles=1, 
            storefileUncompressedSizeMB=0, 
            lastMajorCompactionTimestamp=0, 
            storefileSizeMB=0, 
            memstoreSizeMB=0, 
            storefileIndexSizeMB=0, 
            readRequestsCount=0, 
            writeRequestsCount=0, 
            rootIndexSizeKB=0, 
            totalStaticIndexSizeKB=0, 
            totalStaticBloomSizeKB=0, 
            totalCompactingKVs=332285, 
            currentCompactedKVs=332285, 
            compactionProgressPct=1.0, 
            completeSequenceId=-1, 
            dataLocality=1.0
        "namespace:table,1f,1577443984105.61c4ba95dbed1eb52da78c448e2f4bbf."
            ...

0 dead servers

知识点补充

1. 计算公式

在上面的Shell命令行输出中我们还看到有两个与Compact相关的指标,分别是totalCompactingKVscurrentCompactedKVs。其实指标 compactionProgressPct 正是由二者计算得来,如下:

float compactionProgressPct = Float.NaN;
  if( this.totalCompactingKVs > 0 ) {
    compactionProgressPct = Float.valueOf(
        this.currentCompactedKVs / this.totalCompactingKVs);
  }

2. 小版本bug

可能有的朋友会发现自己家的 HBase compactionProgressPct 指标出现了大于100% 情况,或是 currentCompactedKVs>totalCompactingKVs 等情况,其实这是HBase小版本出现的一个bug,该bug在 2.0.0-beta 版本中才修复完毕。相关jira 如下:

  • HBASE-19767
  • HBASE-15906
  • HBASE-11979
    900px
相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
NoSQL 大数据 分布式数据库
【HBase】(6)-Compact合并StoreFile流程
【HBase】(6)-Compact合并StoreFile流程
278 0
【HBase】(6)-Compact合并StoreFile流程
|
分布式计算 分布式数据库 Hbase
Hbase compact以及split跟踪
为了准确了解HBASE内部工作原理,我们需要做一些测试,在大量数据插入的情况下,HBASE内部到底有什么表现? 比如插入速度, hstore compact,split等相关活动,了解了这些才能更好的维护HBASE系统本身。 此次测试会有几轮,所以测试到哪里就写到哪里,我随便找了一张大概120W来的表,我会写一个mapreduce任务,来读取这张表,再写入另外一个测试表: test2, 没有选择更大的表是因为毕竟整个拷贝是需要时间,通常20分钟-30分钟,太大的表,不太利于跟踪。 拷贝过程,HBASE会针对此表有相关的活动日志,依据日志,我们来看看HBASE到底在干什么。 测试开始,
241 0
|
Java
hbase源码系列(十四)Compact和Split
本文介绍hbase中的Compact和Split。
4120 0
|
分布式数据库 Hbase 存储
HBase源码分析之HRegion上compact流程分析(一)
        首先来想两个问题:1、何谓compact?2、它产生的背景是怎样的?         compact是指HBase表中HRegion上某个Column Family下,部分或全部HFiles的合并。
1060 1
|
分布式数据库 Hbase
HBase flush&split&compact
HBase的memstore flush处理流程,以及split/compact的处理流程
1720 0
|
分布式数据库 Hbase Shell
hbase手动compact与split
#!/bin/bash die () {     echo >&2 "$@"     echo "usage:"     echo "       $0 check|split table_name [split_size]"     exit 1 } [[ "$#" -lt 2 ]] && die "at least 2 arguments required
2213 0
|
分布式数据库 Hbase