Jstorm草草配置

简介: 今天帮同事调试一个双节点的Jstorm测试集群。 UI界面总是不能出现集群的具体信息。 参考几个URL调了一下。搞定了。 收获以下知识点: 1,UI是在storm.yaml里配置的 2,Jstorm分为nimbus和supervisor,前者相当于master,后者相当于slave。

今天帮同事调试一个双节点的Jstorm测试集群。

UI界面总是不能出现集群的具体信息。

参考几个URL调了一下。搞定了。

收获以下知识点:

1,UI是在storm.yaml里配置的

2,Jstorm分为nimbus和supervisor,前者相当于master,后者相当于slave。

3,管理节点和任务结点之前,用zookeeper用任务传递

4,每个节点,不分主从,storm.yaml的配置都是一样的。

5,主从节点的区别,是从启动命令来体现的。

============================

配置完成后,将安装包分发到其它机器上,在nimbus节点执行

nohup jstorm nimbus &

执行stop.sh关闭nimbus

在supervisor执行

nohup jstorm supervisor &

执行stop.sh关闭supervisor

=======================

 

#集群zk配置,可多个,可单个 
storm.zookeeper.servers:
     - "10.5.3.100"
     - "10.5.3.101"
     - "10.5.3.102"
#ZK的存储目录
 storm.zookeeper.root: "/jstorm"
#指定主节点地点
 nimbus.host: "10.5.3.100"
#STORM存储目录
 storm.local.dir: "%JSTORM_HOME%/data"
#UI配置,记住,YAML文件,前面有空格哟,这里调了会!!!!~~~:)
 ui.clusters:
     - {
         name: "jstorm",
         zkRoot: "/jstorm",
         zkServers:
             [ "10.5.3.100","10.5.3.101","10.5.3.102"],
         zkPort: 2181,
       }

 

目录
相关文章
|
消息中间件 大数据 关系型数据库
大数据框架NiFi
NiFi 是一个易于使用,功能强大,可靠的处理和分发数据框架。主要用于数据的同步传输,支持灵活的数据格式转换,同时可以设置定时调度任务,他是一个数据同步框架,类似于 kettle。
233 0
|
12月前
|
jstorm 分布式计算 搜索推荐
JStorm使用总结
JStorm使用总结
88 0
|
存储 Ubuntu 网络协议
storm完全分布式部署
storm完全分布式部署
|
分布式计算 运维 Ubuntu
|
分布式计算 Hadoop 流计算
如何搭建Storm集群?
如何搭建Storm集群?
104 0
|
流计算
storm集群的搭建
最近也是有朋友问我storm的问题,好长时间没玩storm了,今天就来简单的说一下吧,首先我们来看一下官网的图片,storm是完全实时的,就像水龙头打开后一样,会不停的往外面流水.所以他的延迟非常的低,这也是他的特点.然后先搭建storm集群吧,storm集群的搭建也比较简单.
|
消息中间件 存储 JSON
Flink on yarn 实时日志收集到 kafka 打造日志检索系统
背景 在 Flink on yarn 的模式下,程序运行的日志会分散的存储在不同的 DN 上,当 Flink 任务发生异常的时候,我们需要查看日志来定位问题,一般我们会选择通过 Flink UI 上面的 logs 来查看日志,或者登录到对应的服务器上去查看,但是在任务日志量非常大的情况下,生成的日志文件就非常多,这对于我们排查问题来说,就造成了很大的不便,所以,我们需要有一种统一的日志收集,检索,展示的方案来帮忙我们快速的分析日志,定位问题.
|
jstorm 分布式计算 Hadoop
|
调度
Jstorm调度规则
Jstorm调度规则
565 0
|
流计算 jstorm
Jstorm vs Storm
Jstorm 是由Storm演化而来,在架构和实现上都有很大的相似度,并且沿用了Storm的编程接口,Storm的程序在很多版本上,可以无缝迁移到Jstorm。整体上说,Jstorm更稳定,灵活性更高,性能更高。
1292 0