如何在E-MapReduce上使用storm

简介: Storm 使用指南 集群创建 目前E-MapReduce已经支持了apache社区的1.0.1版本的storm。用户可以通过选择E-MapReduce 最新的镜像版本EMR-2.0.0(以及后续的以上版本),通过在控制台软件列表中勾选storm软件进行安装,选择完毕后即可登录到master节点

Storm 使用指南

集群创建

目前E-MapReduce已经支持了apache社区的1.0.1版本的storm。用户可以通过选择E-MapReduce 最新的镜像版本EMR-2.0.0(以及后续的以上版本),通过在控制台软件列表中勾选storm软件进行安装,选择完毕后即可登录到master节点,通过命令行提交storm作业(E-MapReduce控制台页面暂时还不支持页面提交storm作业类型,后续根据用户的使用情况会考虑支持)。具体构建集群相关选项如下图所示:

stormoption

作业运行

  1. 通过SSH命令,登录集群的master节点。
  2. 登录到该节点后,即可通过命令行的方式提交作业,E-MapReduce集群中storm的运行环境位置为:/opt/apps/apache-storm-1.0.1 (用户可以自行将该运行环境目录配置到自己的环境变量中)。
  3. 提交storm作业的命令例如:/opt/apps/apache-storm-1.0.1/bin/storm jar xxxx.jar com.aliyun.emr.MainClassXXX args1 args2
  4. 作业提交成功后,通过storm的UI监控作业的运行状态,查看UI需要在本机和master建立SSH隧道,建立方法参考ssh登录集群,隧道建立成功后,在浏览器中访问:http://localhost:9999 即可打开storm的监控UI。

监控UI的截图样例如下:
stormui

storm启动的Daemon和占用的端口

  1. storm会在master节点启动nimbus进程和监控UI进程,分别占用6627端口和9999端口。
  2. storm会在core节点启动 supervisor 占用 6700 6701 6702 6703 端口。
目录
相关文章
【面试题精讲】字节码构成-魔术
【面试题精讲】字节码构成-魔术
|
Python Windows
Anaconda最新版详细安装教程
Anaconda最新版详细安装教程
685 0
【灵动之链】打造高效处理架构的双轨组合模式实战
【灵动之链】打造高效处理架构的双轨组合模式实战
【数据结构】第四站:单链表力扣题(二)
【数据结构】第四站:单链表力扣题(二)
84 0
|
前端开发
关于我写了一个vite插件那些事
在我们开发的过程中有开发模式和生产模式,那有些测试代码会在开发模式的时候使用,在生产环境要删掉,一般是手动删除,另一种就是判断环境变量,但是环境变量不好处理template代码以及css代码,为此我写了一个插件将解决以上问题。
311 0
关于我写了一个vite插件那些事
|
Java 数据库连接 数据库
SpringBoot实战(四)之使用JDBC和Spring访问数据库
这里演示的是h2databse示例,所以简单的介绍普及下h2database相关知识 H2数据库是一个开源的关系型数据库。 H2是一个嵌入式数据库引擎,采用java语言编写,不受平台的限制,同时H2提供了一个十分方便的web控制台用于操作和管理数据库内容。
2732 0
|
Java 测试技术 Apache
|
4天前
|
数据采集 人工智能 安全
|
13天前
|
云安全 监控 安全