Jstorm草草配置

简介: 今天帮同事调试一个双节点的Jstorm测试集群。 UI界面总是不能出现集群的具体信息。 参考几个URL调了一下。搞定了。 收获以下知识点: 1,UI是在storm.yaml里配置的 2,Jstorm分为nimbus和supervisor,前者相当于master,后者相当于slave。

今天帮同事调试一个双节点的Jstorm测试集群。

UI界面总是不能出现集群的具体信息。

参考几个URL调了一下。搞定了。

收获以下知识点:

1,UI是在storm.yaml里配置的

2,Jstorm分为nimbus和supervisor,前者相当于master,后者相当于slave。

3,管理节点和任务结点之前,用zookeeper用任务传递

4,每个节点,不分主从,storm.yaml的配置都是一样的。

5,主从节点的区别,是从启动命令来体现的。

============================

配置完成后,将安装包分发到其它机器上,在nimbus节点执行

nohup jstorm nimbus &

执行stop.sh关闭nimbus

在supervisor执行

nohup jstorm supervisor &

执行stop.sh关闭supervisor

=======================

 

#集群zk配置,可多个,可单个 
storm.zookeeper.servers:
     - "10.5.3.100"
     - "10.5.3.101"
     - "10.5.3.102"
#ZK的存储目录
 storm.zookeeper.root: "/jstorm"
#指定主节点地点
 nimbus.host: "10.5.3.100"
#STORM存储目录
 storm.local.dir: "%JSTORM_HOME%/data"
#UI配置,记住,YAML文件,前面有空格哟,这里调了会!!!!~~~:)
 ui.clusters:
     - {
         name: "jstorm",
         zkRoot: "/jstorm",
         zkServers:
             [ "10.5.3.100","10.5.3.101","10.5.3.102"],
         zkPort: 2181,
       }

 

目录
相关文章
|
7月前
|
消息中间件 Kafka 数据处理
Kafka与Flink:构建高性能实时数据处理系统的实践指南
Apache Kafka 和 Apache Flink 的结合为构建高性能的实时数据处理系统提供了坚实的基础。通过合理的架构设计和参数配置,可以实现低延迟、高吞吐量的数据流处理。无论是在电商、金融、物流还是其他行业,这种组合都能为企业带来巨大的价值。
|
jstorm 分布式计算 搜索推荐
JStorm使用总结
JStorm使用总结
112 0
|
监控 Java 流计算
[基础架构] [Flink] Flink/Flink-CDC代码实现业务接入
[基础架构] [Flink] Flink/Flink-CDC代码实现业务接入
387 0
[基础架构] [Flink] Flink/Flink-CDC代码实现业务接入
|
存储 网络协议 API
【Flink】Flink 底层RPC框架分析
对于Flink中各个组件(JobMaster、TaskManager、Dispatcher等),其底层RPC框架基于Akka实现,本文着重分析Flink中的Rpc框架实现机制及梳理其通信流程。
461 0
【Flink】Flink 底层RPC框架分析
|
消息中间件 存储 JSON
Flink on yarn 实时日志收集到 kafka 打造日志检索系统
背景 在 Flink on yarn 的模式下,程序运行的日志会分散的存储在不同的 DN 上,当 Flink 任务发生异常的时候,我们需要查看日志来定位问题,一般我们会选择通过 Flink UI 上面的 logs 来查看日志,或者登录到对应的服务器上去查看,但是在任务日志量非常大的情况下,生成的日志文件就非常多,这对于我们排查问题来说,就造成了很大的不便,所以,我们需要有一种统一的日志收集,检索,展示的方案来帮忙我们快速的分析日志,定位问题.
|
jstorm 分布式计算 Hadoop
|
消息中间件 分布式计算 NoSQL
数据处理平台架构中的SMACK组合:Spark、Mesos、Akka、Cassandra以及Kafka
在今天的文章中,我们将着重探讨如何利用SMACK(即Spark、Mesos、Akka、Cassandra以及Kafka)堆栈构建可扩展数据处理平台。虽然这套堆栈仅由数个简单部分组成,但其能够实现大量不同系统设计。除了纯粹的批量或者流处理机制之外,我们亦可借此实现复杂的Lambda以及Kappa架构。
8842 0
|
调度
Jstorm调度规则
Jstorm调度规则
575 0
|
流计算 jstorm
Jstorm vs Storm
Jstorm 是由Storm演化而来,在架构和实现上都有很大的相似度,并且沿用了Storm的编程接口,Storm的程序在很多版本上,可以无缝迁移到Jstorm。整体上说,Jstorm更稳定,灵活性更高,性能更高。
1311 0
|
消息中间件 流计算 jstorm
Jstorm最佳实践
Jstorm最佳实践
1093 0