大数据组件-实时大数据处理框架Storm安装部署

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 大数据组件-实时大数据处理框架Storm安装部署

在这里插入图片描述

👨🏻‍🎓博主介绍:大家好,我是芝士味的椒盐,一名在校大学生,热爱分享知识,很高兴在这里认识大家🌟
🌈擅长领域:Java、大数据、运维、电子
🙏🏻如果本文章各位小伙伴们有帮助的话,🍭关注+👍🏻点赞+🗣评论+📦收藏,相应的有空了我也会回访,互助!!!
🤝另本人水平有限,旨在创作简单易懂的文章,在文章描述时如有错,恳请各位大佬指正,在此感谢!!!

@[TOC]

Storm简介

1.官网

http://storm.apache.org/

2.strom的两种形式

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216150233214-1660343507.png

2.strom的特性

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216150432933-852484150.png

3.使用场景

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216150502917-768778.png

4.集群架构

各个节点快速失败,无状态。

快速失败的意思是,节点挂掉后,马上重启后,就可以正常工作,不需要很长的时间初始化,状态恢复等过程。

无状态:节点本身不存储自己的状态信息,将状态信息由第三方存储。、

可以实现高可靠性。

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216150608198-2014603231.png

5.集群架构进程

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216150706308-1395210200.png

6.组件 Nimbus

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151116183-934096483.png

7.从节点Supervisor

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151225683-536020167.png

8.组件worker

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151344354-1508431864.png

9.组件Executor

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151421151-793170831.png

10.组件zookeeper

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151529464-1358939842.png

11.组件UI

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151622495-1722274787.png

12.组件Logviewer

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151651776-778865111.png

13.组件Netty

https://images2015.cnblogs.com/blog/1027015/201612/1027015-20161216151727870-121197440.png

Storm集群部署

集群规划

一、storm集群整体部署

集群总共使用了6台机器:

storm使用3个节点(nimbus在node01, supervisor在node02、node03)

zookeeper使用3个节点(node04、node05、node06)
在这里插入图片描述

Zookeeper高可用安装

二、zookeeper安装

1、使用最新的稳定版本3.4.6,下载地址http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.6.tar.gz

tar zxvf zookeeper-3.4.6.tar.gz 
ln -s zookeeper-3.4.6 zookeeper
rm  zookeeper-3.4.6.tar.gzcp zookeeper/conf/zoo_sample.cfg zookeeper/conf/zoo.cf`

2、修改配置文件zoo.cfg , 根据自己的实际情况修改红色部分即可,其余配置可以使用默认的。

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/usr/local/zookeeper/data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

server.1=node06:2888:3888
server.2=node05:2888:3888
server.3=node04:2888:3888

3、zookeeper的所有节点上执行1、2步骤后,在zoo.cfg中配置的dataDir目录下添加myid文件,内容为server.1=node06:2888:3888配置中server后面的id(node06的myid文件内容为1)

`echo "1" > zookeeper/data/myid    (node06)
echo "2" > zookeeper/data/myid    (node05)
echo "3" > zookeeper/data/myid    (node04)`

4、在所有节点上启动zookeeper

bin/zkServer.sh start

jps命令验证QuorumPeerMain进程是否启动成功
在这里插入图片描述

启动客户端连接测试: bin/zkCli.sh -server node06:2181

至此,Zookerper安装成功

Storm安装

三、storm安装

选用最新的0.9.2版本进行安装部署,下载地址http://mirror.bit.edu.cn/apache/incubator/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz

1、安装前提(自行先安装java、python)

Java 6及以上     Python 2.6.6及以上

2、安装storm包

 tar zxvf apache-storm-0.9.2-incubating.tar.gz 
 ln -s apache-storm-0.9.2-incubating storm
 rm apache-storm-0.9.2-incubating.tar.gz`

3、修改conf/storm.yaml配置文件,根据自己的实际情况修改红色部分即可,其余配置可以使用默认的。(配置文件采用yaml格式,可以百度下它的具体语法,

以免格式使用错误,造成启动失败)


 storm.zookeeper.servers:
     - "node06"
     - "node05"
     - "node04"
 #nimbus.host: "node01"
#1.2版本之后使用nimbus.seeds,代替了nimbus.host
 storm.local.dir: "/usr/local/storm/data"
 supervisor.slots.ports:
   - 6700
   - 6701

 ui.port: 6066

4、修改storm_env.sh,配置JDK的home

启动并测试Storm

1、在storm的所有节点上执行1、2、3步骤后

node01启动nimbus:bin/storm nimbus >/dev/null 2>&1 &

node02、node03启动supervisor:bin/storm supervisor >/dev/null 2>&1 & ,bin/storm logviewer > /dev/null 2>&1 &

node01启动ui: bin/storm ui >/dev/null 2>&1 &
在这里插入图片描述
在这里插入图片描述
2、访问node01:6066查看storm ui页面
在这里插入图片描述
3、测试Storm的实时分布式计算框架的搭建的成功与否

storm jar examples/storm-starter/storm-starter-topologies-0.9.2-incubating.jar storm.starter.WordCountTopology wordcount

在这里插入图片描述
注意:storm停止需要kill掉,没有专属的stop命令

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
分布式计算 资源调度 大数据
【决战大数据之巅】:Spark Standalone VS YARN —— 揭秘两大部署模式的恩怨情仇与终极对决!
【8月更文挑战第7天】随着大数据需求的增长,Apache Spark 成为关键框架。本文对比了常见的 Spark Standalone 与 YARN 部署模式。Standalone 作为自带的轻量级集群管理服务,易于设置,适用于小规模或独立部署;而 YARN 作为 Hadoop 的资源管理系统,支持资源的统一管理和调度,更适合大规模生产环境及多框架集成。我们将通过示例代码展示如何在这两种模式下运行 Spark 应用程序。
139 3
|
3月前
|
分布式计算 大数据 数据处理
经典大数据处理框架与通用架构对比
【6月更文挑战第15天】本文介绍Apache Beam是谷歌开源的统一数据处理框架,提供可移植API,支持批处理和流处理。与其他架构相比,Lambda和Kappa分别专注于实时和流处理,而Beam在两者之间提供平衡,具备高实时性和数据一致性,但复杂性较高。选择架构应基于业务需求和场景。
162 3
经典大数据处理框架与通用架构对比
|
20天前
|
前端开发 大数据 数据库
🔥大数据洪流下的决战:JSF 表格组件如何做到毫秒级响应?揭秘背后的性能魔法!💪
【8月更文挑战第31天】在 Web 应用中,表格组件常用于展示和操作数据,但在大数据量下性能会成瓶颈。本文介绍在 JavaServer Faces(JSF)中优化表格组件的方法,包括数据处理、分页及懒加载等技术。通过后端分页或懒加载按需加载数据,减少不必要的数据加载和优化数据库查询,并利用缓存机制减少数据库访问次数,从而提高表格组件的响应速度和整体性能。掌握这些最佳实践对开发高性能 JSF 应用至关重要。
36 0
|
1月前
|
分布式计算 Hadoop 大数据
大数据处理框架在零售业的应用:Apache Hadoop与Apache Spark
【8月更文挑战第20天】Apache Hadoop和Apache Spark为处理海量零售户数据提供了强大的支持
37 0
|
2月前
|
分布式计算 安全 大数据
HAS插件式Kerberos认证框架:构建安全可靠的大数据生态系统
在教育和科研领域,研究人员需要共享大量数据以促进合作。HAS框架可以提供一个安全的数据共享平台,确保数据的安全性和合规性。
|
2月前
|
存储 分布式计算 MaxCompute
构建NLP 开发问题之如何支持其他存储介质(如 HDFS、ODPS Volumn)在 transformers 框架中
构建NLP 开发问题之如何支持其他存储介质(如 HDFS、ODPS Volumn)在 transformers 框架中
|
3月前
|
存储 分布式计算 大数据
Hadoop 生态圈中的组件如何协同工作来实现大数据处理的全流程
Hadoop 生态圈中的组件如何协同工作来实现大数据处理的全流程
|
3月前
|
SQL 分布式计算 大数据
MaxCompute产品使用问题之odps sql 底层计算框架是MR吗
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
3月前
|
分布式计算 运维 DataWorks
MaxCompute产品使用问题之数据如何导出到本地部署的CK
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
2月前
|
运维 监控 大数据
部署-Linux01,后端开发,运维开发,大数据开发,测试开发,后端软件,大数据系统,运维监控,测试程序,网页服务都要在Linux中进行部署
部署-Linux01,后端开发,运维开发,大数据开发,测试开发,后端软件,大数据系统,运维监控,测试程序,网页服务都要在Linux中进行部署

热门文章

最新文章