Apache NiFi之MySQL数据同步到HBase
一.说明
将Apache NiFi做为关系型数据与非关系型数据库的数据同步工具使用，在此场景中需要将mysql导出的avro数据格式转化为json入库HBase
二.开拔
Ⅰ).配置ExecuteSQLRecord
a).
Netflix Media Database - 架构设计和实现
前言
前面一文主要讲了NMDB的起源、业务场景以及Media Document数据模型，而本节主要讲述NMDB的系统架构、核心模块以及底层技术。在深入了解其架构之前，我们先要明确NMDB的定位和功能设计目标，先看下Netflix内部视频处理的整个流程：
算法处理：Netflix内部有一个Archer平台，在其上运行各种算法来提取视频数据中的元数据，例如提取视频帧中文字信息，提取的元数据为一个Media Document。
hadoop生态系统的架构图（转载）
转自：http://blog.csdn.net/babyfish13/article/details/52527665
1、hadoop1.0时期架构
2、hadoop2.
海量数据的分库分表技术演进，最佳实践
每个优秀的程序员和架构师都应该掌握分库分表，移动互联网时代，海量的用户每天产生海量的数量
用户表
订单表
交易流水表
以支付宝用户为例，8亿；微信用户更是10亿。
HBase伪快速分页查询
之前有两个功能，都是查询历史数据的一个分页查询，系统刚上线的时候，没有太多的数据，就一直扔在mysql里面，后来里面数据上亿之后，就查不到了，而且数据还在以指数级增长方式上报，后来，这部分业务单独迁移到hbase集群去存放，之前页面的查询也改查hbase了。
