Kafka单机模式和集群模式环境搭建

本文涉及的产品
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: Kafka单机模式和集群模式环境搭建

快速开始教程:http://kafka.apache.org/quickstart


2、启动服务

需要先启动ZooKeeper服务

$ zkServer.sh start
# 如果没有,可以使用单节点的ZooKeeper
$ bin/zookeeper-server-start.sh config/zookeeper.properties

启动Kafka

> bin/kafka-server-start.sh config/server.properties


3、创建话题

$ bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
# 查看话题
$ bin/kafka-topics.sh --list --bootstrap-server localhost:9092

4、发送消息

$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

5、接收消息

$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
This is a message
This is another message

多节点服务

1、修改配置

broker.id 在集群中需要唯一

$ cp config/server.properties config/server-1.properties
$ cp config/server.properties config/server-2.properties
$ cat config/server-1.properties:
broker.id=1
listeners=PLAINTEXT://:9093
log.dirs=/tmp/kafka-logs-1
$ config/server-2.properties:
broker.id=2
listeners=PLAINTEXT://:9094
log.dirs=/tmp/kafka-logs-2

2、创建话题

> bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic
# 查看话题描述
> bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test
> bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic

3、查看进程,一共有6个(我的天)

$ jps
72513 Kafka             # 3个Kafka组成集群
72816 Kafka
73081 Kafka 
73872 Jps
73347 ConsoleProducer   # 生产者
73609 ConsoleConsumer   # 消费者
35198
68590 QuorumPeerMain    # Zookeeper


相关文章
|
Java Linux
kafka3.0集群环境搭建
kafka3.0集群环境搭建
982 0
|
6月前
|
消息中间件 Kafka
kafka 集群环境搭建
kafka 集群环境搭建
78 8
|
5月前
|
消息中间件 Kafka Apache
部署安装kafka集群
部署安装kafka集群
|
5月前
|
消息中间件 存储 Kafka
[kafka]部署安装单节点
[kafka]部署安装单节点
|
8月前
|
消息中间件 Kafka
Kafka【部署 03】Zookeeper与Kafka自动部署脚本
【4月更文挑战第11天】Kafka【部署 03】Zookeeper与Kafka自动部署脚本
113 8
|
8月前
|
消息中间件 存储 Kafka
Kafka【环境搭建 02】kafka_2.11-2.4.1 基于 zookeeper 搭建高可用伪集群(一台服务器实现三个节点的 Kafka 集群)
【2月更文挑战第19天】Kafka【环境搭建 02】kafka_2.11-2.4.1 基于 zookeeper 搭建高可用伪集群(一台服务器实现三个节点的 Kafka 集群)
245 1
|
8月前
|
消息中间件 监控 Kafka
深入理解 Kafka 集群搭建与管理
Apache Kafka 作为分布式流处理平台的核心,其集群搭建与管理是确保高可用性和高性能的关键。本文将深入研究 Kafka 集群的构建、配置、工作原理、节点角色以及一些高级管理策略,以助力大家更深层次地理解和灵活运用 Kafka 集群。
|
消息中间件 运维 监控
Kafka两种集群详解和搭建教程
Kafka两种集群详解和搭建教程
4778 0
Kafka两种集群详解和搭建教程
|
消息中间件 Java Kafka
Kafka单机版安装
Kafka单机版安装
|
8月前
|
数据可视化
Halcon 学习笔记一:基本操作以及读取与保存图片
Halcon 学习笔记一:基本操作以及读取与保存图片
1134 0

相关实验场景

更多