JStorm,让大规模流处理成为可能
本文PPT来自资深专家封仲淹于10月16日在2016年杭州云栖大会上发表的《Large-Scale Stream Processing inside Alibaba》。
【云栖大会】开源大数据技术的魅力
在2016杭州云栖大会第四天的“开源大数据技术专场”分会场上,阿里云高级技术专家无谓、阿里云技术专家封神、阿里巴巴中间件技术部高级技术专家天梧、阿里巴巴中间件技术部资深技术专家纪君祥对开源大数据技术的有关方面做了详细介绍。
【中间件2】在虚拟机搭建JStrom
一 安装步骤
二 搭建Zookeeper集群
1 ZooKeeper 单机安装与配置
11 下载zookeeper安装包
12 解压zookeeper安装包
13 设置环境变量
14 配置zoocfg
15 启动zookeeper
三 搭建JStorm...
安装JStorm2.1.1
安装zookeeper
参见
http://www.cnblogs.com/ilovexiao/p/3946547.html
不过这篇博客有个问题/datatmp/zookeeper/logs这个文件夹是需要手动新建的
安装python
Centos7本身已经自带了Python2.
Jstorm 集群搭建过程/Jstorm集群一键安装部署
Jstorm 官方搭建使用过程如连接https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85 ,我整理了三个脚本:安装
Jstorm 集群,安装 jstorm_web_ui 监控页面,启动zookeeper、Jstorm集群进行测试。
java-jstorm
jstorm 是阿里巴巴开源的基于storm采用Java重写的一套分布式实时流计算框架,使用简单,特点如下:
开发非常迅速: 接口简单,容易上手,只要遵守Topology,Spout, Bolt的编程规范即可开发出一个扩展性极好的应用,底层rpc,worker之间冗余,数据分流之类的动作完全不用考虑。