开发者社区> 问答> 正文

构建"Scanned Block"部分的步骤是什么?

构建"Scanned Block"部分的步骤是什么?

展开
收起
游客fbdr25iajcjto 2021-12-05 23:44:52 489 0
1 条回答
写回答
取消 提交回答
  • 1)MemStore执行flush,首先新建一个Scanner,这个Scanner从存储KV数据的CellSkipListSet中依次从小到大读出每个cell(KeyValue)。这里必须注意读取的顺序性,读取的顺序性保证了HFile文件中数据存储的顺序性,同时读取的顺序性是保证HFile索引构建以及布隆过滤器Meta Block构建的前提。

    2)appendGeneralBloomFilter :在内存中使用布隆过滤器算法构建BloomBlock,下文也称为Bloom Chunk。

    3)appendDeleteFamilyBloomFilter :针对标记为"DeleteFamily"或者"DeleteFamilyVersion"的cell,在内存中使用布隆过滤器算法构建BloomBlock,基本流程和appendGeneralBloomFilter相同。

    4)(HFile.Writer)writer.append :将cell写入Data Block中,这是HFile文件构建的核心。

    2021-12-05 23:45:36
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Data infrastructure architecture for a medium size organization: tips for collecting, storing and analysis 立即下载
How big data can help small da 立即下载
Expert Tips to Command Your Na 立即下载