大数据组件-Zookeeper集群部署

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 大数据组件-Zookeeper集群部署
    • 准备好zookeeper的zookeeper-3.4.10.tar.gz包
    • 在Zookeeper安装集群之前先安装JDK1.8,在并且保证三台node时可以通过网络通信的
    • 在/usr/local/src/下创建zookeeper的家名为zookeeper,三台服务器均创建
    mkdir zookeeper
    • image.gif

    此时的三台服务器配置如下:

    • 在node1上的/usr/local/src/zookeeper下使用rz指令上传centos并解压,剪切到合适到位置
    rz
    # 这里也可以用tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/src/zookeeper/目录
    tar -zxvf zookeeper-3.4.10.tar.gz
    mv ./* /usr/local/src/zookeeper/

    image.gif

    • 复制zoo_sample.cfg变名为zoo.cfg,并修改zoo.cfg内容
    cp zoo_sample.cfg zoo.cfg

    image.gif

    • zoo.cfg
    #指定数据存放的位置
    dataDir=/usr/local/src/zookeeper/zkdatas
    #保留日志的数量
    autopurge.snapRetainCount=3
    #每隔1小时清理一次日志
    autopurge.purgeInterval=1
    #配置集群的主机
    server.1=node1:2888:3888
    server.2=node2:2888:3888
    server.3=node3:2888:3888



    • 在zookeeper(/usr/local/src/zookeeper/)主目录里创建一个zkdatas文件夹,并创建一个myid保存myid值
    mkdir zkdatas
    vi myid



    • 使用scp将当前的Zookeeper下已经配置的分发给其他远程主机,分发之后去其他主机修改myid文件中的myid值
    scp -r ./* hadoop@node2:$PWD
    scp -r ./* hadoop@node3:$PWD

    image.gif

    • 在三台主机中的zookeeper目录下的bin执行如下命令,即可启动zookeeper
    ./zkServer.sh start
    • image.gif使用jps查看进程,查看到如下说明启动成功
    QuorumPeerMain



    • 在三台主机中的zookeeper目录下的bin执行如下命令,使用如下命令查看zookeeper集群的角色情况
    ./zkServer.sh status

    image.gif

    相关实践学习
    基于MSE实现微服务的全链路灰度
    通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
    相关文章
    |
    20天前
    |
    前端开发 大数据 数据库
    🔥大数据洪流下的决战:JSF 表格组件如何做到毫秒级响应?揭秘背后的性能魔法!💪
    【8月更文挑战第31天】在 Web 应用中,表格组件常用于展示和操作数据,但在大数据量下性能会成瓶颈。本文介绍在 JavaServer Faces(JSF)中优化表格组件的方法,包括数据处理、分页及懒加载等技术。通过后端分页或懒加载按需加载数据,减少不必要的数据加载和优化数据库查询,并利用缓存机制减少数据库访问次数,从而提高表格组件的响应速度和整体性能。掌握这些最佳实践对开发高性能 JSF 应用至关重要。
    36 0
    |
    3月前
    |
    存储 分布式计算 大数据
    Hadoop 生态圈中的组件如何协同工作来实现大数据处理的全流程
    Hadoop 生态圈中的组件如何协同工作来实现大数据处理的全流程
    |
    3月前
    |
    分布式计算 资源调度 Hadoop
    大数据Hadoop集群部署与调优讨论
    大数据Hadoop集群部署与调优讨论
    |
    4月前
    |
    SQL 分布式计算 资源调度
    常用大数据组件的Web端口号总结
    这是关于常用大数据组件Web端口号的总结。通过虚拟机名+端口号可访问各组件服务:Hadoop HDFS的9870,YARN的ResourceManager的8088和JobHistoryServer的19888,Zeppelin的8000,HBase的10610,Hive的10002。ZooKeeper的端口包括客户端连接的2181,服务器间通信的2888以及选举通信的3888。
    117 2
    常用大数据组件的Web端口号总结
    |
    4月前
    |
    消息中间件 分布式计算 大数据
    大数据组件之storm简介
    大数据组件之storm简介
    85 2
    |
    4月前
    |
    监控 大数据 数据处理
    大数据组件之Storm简介
    【5月更文挑战第2天】Apache Storm是用于实时大数据处理的分布式系统,提供容错和高可用的实时计算。核心概念包括Topology(由Spouts和Bolts构成的DAG)、Spouts(数据源)和Bolts(数据处理器)。Storm通过acker机制确保数据完整性。常见问题包括数据丢失、性能瓶颈和容错理解不足。避免这些问题的方法包括深入学习架构、监控日志、性能调优和编写健壮逻辑。示例展示了实现单词计数的简单Topology。进阶话题涵盖数据延迟、倾斜的处理,以及Trident状态管理和高级实践,强调调试、性能优化和数据安全性。
    91 4
    |
    4月前
    |
    算法 Java Linux
    zookeeper单机伪集群集群部署
    zookeeper单机伪集群集群部署
    116 0
    |
    4月前
    |
    SQL 分布式计算 Hadoop
    假如大数据组件中的动物都变成神奇宝贝,那会变成什么样?
    假如大数据组件中的动物都变成神奇宝贝,那会变成什么样?
    47 1
    |
    4月前
    |
    监控 物联网 大数据
    助力工业物联网,工业大数据之服务域:AirFlow的架构组件【三十二】
    助力工业物联网,工业大数据之服务域:AirFlow的架构组件【三十二】
    90 0
    |
    4月前
    |
    大数据 Java 分布式数据库
    使用记忆法打造你的大数据组件的默认端口号记忆宫殿
    使用记忆法打造你的大数据组件的默认端口号记忆宫殿
    49 0