Kafka单机模式和集群模式环境搭建

简介: Kafka单机模式和集群模式环境搭建

快速开始教程:http://kafka.apache.org/quickstart


2、启动服务

需要先启动ZooKeeper服务

$ zkServer.sh start

# 如果没有,可以使用单节点的ZooKeeper
$ bin/zookeeper-server-start.sh config/zookeeper.properties

启动Kafka

> bin/kafka-server-start.sh config/server.properties


3、创建话题

$ bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test


# 查看话题
$ bin/kafka-topics.sh --list --bootstrap-server localhost:9092

4、发送消息

$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

5、接收消息

$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
This is a message
This is another message

多节点服务

1、修改配置

broker.id 在集群中需要唯一

$ cp config/server.properties config/server-1.properties
$ cp config/server.properties config/server-2.properties

$ cat config/server-1.properties:
broker.id=1
listeners=PLAINTEXT://:9093
log.dirs=/tmp/kafka-logs-1

$ config/server-2.properties:
broker.id=2
listeners=PLAINTEXT://:9094
log.dirs=/tmp/kafka-logs-2

2、创建话题

> bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic

# 查看话题描述
> bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test

> bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic

3、查看进程,一共有6个(我的天)

$ jps
72513 Kafka # 3个Kafka组成集群
72816 Kafka
73081 Kafka
73872 Jps
73347 ConsoleProducer # 生产者
73609 ConsoleConsumer # 消费者
35198
68590 QuorumPeerMain # Zookeeper


            </div>
目录
相关文章
|
消息中间件 存储 运维
王者归位:Kafka控制器组件解析
王者归位:Kafka控制器组件解析
258 0
|
消息中间件 缓存 监控
Kafka中的Controller(控制器)节点
Kafka中的Controller(控制器)节点
1578 0
Kafka中的Controller(控制器)节点
|
开发框架 前端开发 Java
SpringBootWeb、SpringMVC、SpringBoot三者关系和底层剖析
这是关于SpringBootWeb、SpringMVC、SpringBoot三者关系和剖析底层, 以及Web应用的帖子
478 0
|
消息中间件 缓存 Kafka
Kafka ProducerConfig和ConsumerConfig配置
Kafka ProducerConfig和ConsumerConfig配置
1022 1
|
2月前
|
机器学习/深度学习 文字识别 Linux
Umi-OCR_文字识别工具 免安装使用教程(附下载安装包)!永久免费,开源离线OCR识别软件下载
Umi-OCR是一款开源免费、支持离线运行的高精度OCR文字识别工具,基于深度学习技术,可快速识别中文、英文、日文等多种语言。无需联网,保护隐私,适用于Windows和Linux系统,解压即用,操作简便,是处理图片转文本的理想选择。
1439 7
|
消息中间件 Java Kafka
Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
【2月更文挑战第19天】Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
1212 1
|
消息中间件 存储 SQL
Kafka架构及其原理
Kafka架构及其原理
1308 1
|
消息中间件 存储 监控
扒开kafka内部组件,咱瞅一瞅都有啥?
以上是 V 哥整理的关于 Kafka 核心组件的介绍,掌握 Kafka 中间件,应用在大型分布式项目中,这对于人个的项目经验积累是浓墨重彩的笔,换句话说,只要是有用到Kafka 的项目,必然是小不了,否则架构师脑袋长泡了。
364 1
|
消息中间件 算法 Kafka
从零开始掌握Kafka Rebalance和分区分配
**Kafka Rebalance详解:**当消费者组成员、订阅主题或分区变化时,集群需重新分配任务。涉及关键点:成员增减、主题数量及分区数变更。Rebalance包括Leader选举、RangeAssignor算法的分区分配,以及创建、删除、修改和查询Topic的基本操作。了解这些有助于优化Kafka集群管理。关注“软件求生”获取更多技术内容!
846 0
|
设计模式 算法 安全
C++常用的11种设计模式解释及示例
C++常用的11种设计模式解释及示例