zookeeper安装部署--分布式模式

简介:

本地模式,和伪分布模式,只适合测试

1:下载zookeeper(zookeeper-3.4.6.tar.gz)

http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.7/

规划:5个节点(nimbus,slave1,slave2,slave3,slave4)参与选举为前三个节点,后面两个节点作为observer,不参与投票,只负责监控,读取数据

创建目录(xshell 执行一下命令,5个节点同时创建目录)

mkdir -p /home/hadoop/app

tar -zxvf zookeeper-3.4.6.tar.gz

mv zookeeper-3.4.6 zookeeper

chown -R hadoop:hadoop zookeeper

su hadoop

cd zookeeper

cd conf/

cp zoo_sample.cfg zoo.cfg

vi zoo.cfg

tickTime=2000(客户端与服务器之间维持心跳的时间间隔单位毫秒)每个多少时间发送一个心跳

initLimit=10(zookeeper接收客户端,zookeeper服务器集中连到leader服务器,不是用户客户端,次数超过多少,无应答,表示失败)

syncLimit=5(leader与follower,发送消息,请求和应答时间长度)

dataDir=/tmp/zookeeper(数据节点,日志文件)/home/hadoop/data/zookeeper/zkdata

dataLogDir=/home/hadoop/data/zookeeper/zkdatalog

clientPort=2181(客户端口)

server.1=nimbus:2888:3888

server.2=slave1:2888:3888

server.3=slave2:2888:3888

server.4=slave3:2888:3888:observer

server.5=slave4:2888:3888:observer

wKioL1fQxkeCFeDrAAJfoP_oYhk680.png-wh_50

(xshell 执行一下命令,5个节点同时创建目录)

mkdir -p /home/hadoop/data/zookeeper/zkdata

mkdir -p /home/hadoop/data/zookeeper/zkdatalog

cd /home/hadoop/data/zookeeper/zkdata

vi myid

1

wq

slave1 下

cd zkdata

vi myid

wKiom1fQxmDygedeAAQx3_hwDSk784.png-wh_50

2

wq

其他节点类似创建myid


将配置好的zookeeper同步到其他节点上

scp -r zookeeper hadoop@slave1:/home/hadoop/app/

scp -r zookeeper hadoop@slave2:/home/hadoop/app/

scp -r zookeeper hadoop@slave3:/home/hadoop/app/

scp -r zookeeper hadoop@slave4:/home/hadoop/app/


slave3上改配置

vi zoo.cfg

peerType=observer

slave4上改配置

vi zoo.cfg

peerType=observer


快捷命令方式

cd /home/hadoop/app/zookeeper

启动下

bin/zkServer.sh start

查看进程 jps

bin/zkServer.sh status

follower nimbus,slave1

leader slave2

observer slave3,slave4

测试-把slave2停止

bin/zkServer.sh stop

slave1变成leader

把slave1停掉

bin/zkServer.sh stop

nimbus下

bin/zkServer.sh status  集群不可用

slave3和slave4都不可用




本文转自 skinglzw 51CTO博客,原文链接:http://blog.51cto.com/skinglzw/1833305,如需转载请自行联系原作者
相关文章
|
6月前
|
消息中间件 分布式计算 资源调度
《聊聊分布式》ZooKeeper与ZAB协议:分布式协调的核心引擎
ZooKeeper是一个开源的分布式协调服务,基于ZAB协议实现数据一致性,提供分布式锁、配置管理、领导者选举等核心功能,具有高可用、强一致和简单易用的特点,广泛应用于Kafka、Hadoop等大型分布式系统中。
|
SQL 数据建模 BI
【YashanDB 知识库】用 yasldr 配置 Bulkload 模式作单线程迁移 300G 的业务数据到分布式数据库,迁移任务频繁出错
问题描述 详细版本:YashanDB Server Enterprise Edition Release 23.2.4.100 x86_64 6db1237 影响范围: 离线数据迁移场景,影响业务数据入库。 外场将部分 NewCIS 的报表业务放到分布式数据库,验证 SQL 性能水平。 操作系统环境配置: 125G 内存 32C CPU 2T 的 HDD 磁盘 问题出现的步骤/操作: 1、部署崖山分布式数据库 1mm 1cn 3dn 单线启动 yasldr 数据迁移任务,设置 32 线程的 bulk load 模式 2、观察 yasldr.log 是否出现如下错
|
存储 SpringCloudAlibaba Java
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论。
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
|
存储 运维 NoSQL
分布式读写锁的奥义:上古世代 ZooKeeper 的进击
本文作者将介绍女娲对社区 ZooKeeper 在分布式读写锁实践细节上的思考,希望帮助大家理解分布式读写锁背后的原理。
381 11
|
监控
Saga模式在分布式系统中保证事务的隔离性
Saga模式在分布式系统中保证事务的隔离性
326 4
|
存储 缓存 NoSQL
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
490 4
|
分布式计算 NoSQL Java
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
249 2
|
8月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
528 2
|
8月前
|
存储 缓存 NoSQL
【📕分布式锁通关指南 12】源码剖析redisson如何利用Redis数据结构实现Semaphore和CountDownLatch
本文解析 Redisson 如何通过 Redis 实现分布式信号量(RSemaphore)与倒数闩(RCountDownLatch),利用 Lua 脚本与原子操作保障分布式环境下的同步控制,帮助开发者更好地理解其原理与应用。
481 6