Hbase

首页 标签 Hbase
# Hbase #
关注
4701内容
从数据结构比较HBase的3种memstore实现方案
HBase的memstore目前存在3种实现:DefaultMemstore、CompactingMemstore、CCSMapMemStore,本文尝试从数据结构的角度对其进行比较。
带你读《Apache Kylin权威指南》之三:Cube优化
从最早使用大数据技术来做批量处理,到现在越来越多的人要求大数据平台也能够如传统数据仓库技术一样支持交互式分析,随着数据量的不断膨胀、数据平民化的不断推进,低延迟、高并发地在Hadoop之上提供标准SQL查询能力成为必须攻破的技术难题。而Apache Kylin的诞生正是基于这个背景,并成功地完成了很多人认为不可能实现的突破。
kafka 三种消费语义
消费语义at most once:最多消费一次,消息可能会丢失-------log日志at least once:至少消费一次,但是会重复消费 例如手动异步提交offsetexactly once:正好一次,不丢失,不重复 0.10.0.1不支持,官方说0.11已支持 例子1.log日志允许丢失 使用第一种2.log日志算钱的不允许丢,使用第二种+去重+redis部分公司去重方法,对每一条日志取一个hash值,存放到redis里面,如果redis里面有了,就不放到下游去处理3.mysql sql语句入库 选择第二种并使用hbase的put保证去重复。
| |
来自: 数据库
存的起,看得见—云原生多模数据库Lindorm技术解析
Lindorm是阿里云发布的业界首款云原生多模数据库,支持海量数据的低成本存储处理和弹性按需付费,兼容HBase/Cassandra、OpenTSDB、Solr、SQL、HDFS等多种开源标准接口,本文将介绍其背后的设计思考和技术架构。
免费试用