【docker专题_04】docker搭建kafka与zookeeper

简介: 【docker专题_04】docker搭建kafka与zookeeper

1.拉取zookeeper镜像

注意:云服务器需要设置安全策略放行2181与9092端口,否则访问失败

#默认拉取最新版本镜像
docker pull wurstmeister/zookeeper
#检查镜像是否拉取成功
docker images | grep zookeeper

2.通过docker运行zookeeper

#docker容器单机启动
docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
#检查zookeeper是否运行成功
docker ps | grep zookeeper
#若是服务异常,则查日志,最后100行
docker logs -f -t --tail 100 zookeeper

3.拉取kafka镜像

#默认拉取最新版本
docker pull wurstmeister/kafka
#检查kafka是否拉取成功
docker images | grep kafka

4.通过docker运行kafka

注意:云服务器需要设置安全策略放行2181与9092端口,否则访问失败

注意:124.71.65.6 替换为自己的服务器地址

#单机启动
docker run -d --name kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=124.71.65.6:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://124.71.65.6:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka
#检查kafka是否运行成功
docker ps | grep kafka
#若是服务异常,则查日志,最后100行
docker logs -f -t --tail 100 kafka
#进入容器内部
docker exec -it kafka /bin/bash
cd opt/kafka/bin
#创建topic,测试使用
./kafka-topics.sh --create --zookeeper 124.71.65.6:2181 --replication-factor 1 --partitions 1 --topic kafka_test
#查看topic是否创建成功
./kafka-topics.sh --list --zookeeper 124.71.65.6:2181
#--新开一个窗口,运行生产者
./kafka-console-producer.sh --broker-list 124.71.65.6:9092 --topic kafka_test
#再新开窗口运行消费者,监控消费情况
./kafka-console-consumer.sh --bootstrap-server 124.71.65.6:9092 --topic kafka_test --from-beginning
其他命令:
#查看某个组的消费情况
./kafka-consumer-groups.sh --zookeeper 124.71.65.6:2181 --describe --group groupName
#查看目前所有的消费者组
./kafka-consumer-groups.sh --list --bootstrap-server 124.71.65.6:9092


相关文章
|
消息中间件 运维 算法
Kafka 为什么要抛弃 Zookeeper?
本文探讨了Kafka为何逐步淘汰ZooKeeper。长久以来,ZooKeeper作为Kafka的核心组件,负责集群管理和协调任务。然而,随着Kafka的发展,ZooKeeper带来的复杂性增加、性能瓶颈及一致性问题日益凸显。为解决这些问题,Kafka引入了KRaft,这是一种基于Raft算法的内置元数据管理方案,不仅简化了部署流程,还提升了系统的一致性和扩展性。本文详细分析了这一转变背后的原因及其带来的优势,并展望了Kafka未来的发展方向。
968 1
|
10月前
|
消息中间件 数据可视化 Kafka
docker arm架构部署kafka要点
本内容介绍了基于 Docker 的容器化解决方案,包含以下部分: 1. **Docker 容器管理**:通过 Portainer 可视化管理工具实现对主节点和代理节点的统一管理。 2. **Kafka 可视化工具**:部署 Kafka-UI 以图形化方式监控和管理 Kafka 集群,支持动态配置功能, 3. **Kafka 安装与配置**:基于 Bitnami Kafka 镜像,提供完整的 Kafka 集群配置示例,涵盖 KRaft 模式、性能调优参数及数据持久化设置,适用于高可用生产环境。 以上方案适合 ARM64 架构,为用户提供了一站式的容器化管理和消息队列解决方案。
919 10
|
11月前
|
消息中间件 运维 Java
搭建Zookeeper、Kafka集群
本文详细介绍了Zookeeper和Kafka集群的搭建过程,涵盖系统环境配置、IP设置、主机名设定、防火墙与Selinux关闭、JDK安装等基础步骤。随后深入讲解了Zookeeper集群的安装与配置,包括数据目录创建、节点信息设置、SASL认证配置及服务启动管理。接着描述了Kafka集群的安装,涉及配置文件修改、安全认证设置、生产消费认证以及服务启停操作。最后通过创建Topic、发送与查看消息等测试验证集群功能。全网可搜《小陈运维》获取更多信息。
958 1
|
消息中间件 Kafka 流计算
docker环境安装kafka/Flink/clickhouse镜像
通过上述步骤和示例,您可以系统地了解如何使用Docker Compose安装和配置Kafka、Flink和ClickHouse,并进行基本的验证操作。希望这些内容对您的学习和工作有所帮助。
1350 28
|
消息中间件 Kafka Docker
docker compose 安装 kafka
通过本文的步骤,您可以快速在本地使用 Docker Compose 安装并配置 Kafka 和 Zookeeper。Docker Compose 简化了多容器应用的管理,方便快速搭建和测试分布式系统。
1800 2
|
消息中间件 监控 Ubuntu
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
461 3
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
|
消息中间件 NoSQL Kafka
Flink-10 Flink Java 3分钟上手 Docker容器化部署 JobManager TaskManager Kafka Redis Dockerfile docker-compose
Flink-10 Flink Java 3分钟上手 Docker容器化部署 JobManager TaskManager Kafka Redis Dockerfile docker-compose
484 4
|
消息中间件 存储 缓存
kafka 的数据是放在磁盘上还是内存上,为什么速度会快?
Kafka的数据存储机制通过将数据同时写入磁盘和内存,确保高吞吐量与持久性。其日志文件按主题和分区组织,使用预写日志(WAL)保证数据持久性,并借助操作系统的页缓存加速读取。Kafka采用顺序I/O、零拷贝技术和批量处理优化性能,支持分区分段以实现并行处理。示例代码展示了如何使用KafkaProducer发送消息。
|
消息中间件 存储 运维
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用,但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响;数据一致性难以达到恰好一次;性能瓶颈在于网络和磁盘I/O;管理复杂性涉及集群配置与版本升级。
559 1
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
447 1