Flink-Kafka-Connector Flink结合Kafka实战
简介
Flink-kafka-connector用来做什么？
Kafka中的partition机制和Flink的并行度机制结合，实现数据恢复Kafka可以作为Flink的source和sink任务失败，通过设置kafka的offset来恢复应用
kafka简单介绍
关于kafka，我们会有专题文章介绍，这里简单介绍几个必须知道的概念。
Zookeeper详细参数解析zoo.cfg文件
zookeeper的配置文件包含许多可以配置的参数，这里在使用zookeeper的时候必须要明白每个参数的含义。尤其是集群搭建，特殊参数的设置。zookeeper的配置文件在conf文件下的zoo.cfg。
Kafka
kafka是什么
kafka是采用scala语言开发的一个 多分区 、 多副本 且 基于zookeeper协调的 分布式 消息系统。
kafka是 高吞吐、可持久化、可水平扩展、支持流数据等多种特性的分布式流式处理平台
kafka扮演的三大角色：消息系统、存储系统、流式处理平台.
搞懂分布式技术21：浅谈分布式消息技术 Kafka
浅谈分布式消息技术 Kafka
本文主要介绍了这几部分内容：
1基本介绍和架构概览
2kafka事务传输的特点
3kafka的消息存储格式：topic和parition
4副本（replication）策略：主从.
zk特性和场景
zk解决什么问题
分布式一致性问题
一致性一般定义是分布式系统中状态或数据保持同步和一致。实际上就是围绕着“看见”来的。谁能看见？能否看见？什么时候看见？
举个例子：淘宝后台卖家，在后台上架一件大促的商品，通过服务器A提交到主数据库，假设刚提交后立马就有用户去通过应用服务器B去从数据库查询该商品，就会出现一个现象，卖家已经更新成功了，然而买家却看不到；而经过一段时间后，主数据库的数据同步到了从数据库，买家就能查到了。
zk日常运维管理
清理数据目录
dataDir目录指定了ZK的数据目录，用于存储ZK的快照文件（snapshot）。
Hbase万亿级存储性能优化总结
背景
hbase主集群在生产环境已稳定运行有1年半时间，最大的单表region数已达7200多个，每天新增入库量就有百亿条，对hbase的认识经历了懵懂到熟的过程。为了应对业务数据的压力，hbase入库也由最初的单机多线程升级为有容灾机制的分布式入库，为及早发现集群中的问题，还开发了一套对hbase集群服务和应用全面监控的报警系统。
