Kafka单机模式和集群模式环境搭建

简介: Kafka单机模式和集群模式环境搭建

快速开始教程:http://kafka.apache.org/quickstart


2、启动服务

需要先启动ZooKeeper服务

$ zkServer.sh start

# 如果没有,可以使用单节点的ZooKeeper
$ bin/zookeeper-server-start.sh config/zookeeper.properties

启动Kafka

> bin/kafka-server-start.sh config/server.properties


3、创建话题

$ bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test


# 查看话题
$ bin/kafka-topics.sh --list --bootstrap-server localhost:9092

4、发送消息

$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

5、接收消息

$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
This is a message
This is another message

多节点服务

1、修改配置

broker.id 在集群中需要唯一

$ cp config/server.properties config/server-1.properties
$ cp config/server.properties config/server-2.properties

$ cat config/server-1.properties:
broker.id=1
listeners=PLAINTEXT://:9093
log.dirs=/tmp/kafka-logs-1

$ config/server-2.properties:
broker.id=2
listeners=PLAINTEXT://:9094
log.dirs=/tmp/kafka-logs-2

2、创建话题

> bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic

# 查看话题描述
> bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test

> bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic

3、查看进程,一共有6个(我的天)

$ jps
72513 Kafka # 3个Kafka组成集群
72816 Kafka
73081 Kafka
73872 Jps
73347 ConsoleProducer # 生产者
73609 ConsoleConsumer # 消费者
35198
68590 QuorumPeerMain # Zookeeper


            </div>
目录
相关文章
|
数据采集 生物认证 数据库
CMS指纹识别
CMS指纹识别
772 0
CMS指纹识别
|
消息中间件 监控 Java
Kafka 新的消费组默认的偏移量设置和消费行为
Kafka 新的消费组默认的偏移量设置和消费行为
1380 1
|
存储 安全 API
对象存储OSS产品常见问题之附件上传后存储存在被窃取的风险如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
627 0
|
JavaScript Java 测试技术
Java项目基于ssm+vue.js的学生宿舍门禁信息管理系统附带文章和源代码设计说明文档ppt
Java项目基于ssm+vue.js的学生宿舍门禁信息管理系统附带文章和源代码设计说明文档ppt
152 0
|
Java 索引 Spring
restHighLevelClient客户端的使用
restHighLevelClient客户端的使用
|
前端开发 Linux 程序员
「HTML+CSS」--自定义加载动画【005】
「HTML+CSS」--自定义加载动画【005】
135 0
「HTML+CSS」--自定义加载动画【005】
|
设计模式 数据可视化 程序员
设计模式——概述、UML图、原则(一)
设计模式——概述、UML图、原则
342 0
设计模式——概述、UML图、原则(一)
|
存储 C++
【C++】-- 红黑树详解(一)
【C++】-- 红黑树详解
285 0
【C++】-- 红黑树详解(一)
|
Linux Windows
Elasticsearch-03 CentOS7 / Windows上部署Elasticsearch5.6.16集群模式
Elasticsearch-03 CentOS7 / Windows上部署Elasticsearch5.6.16集群模式
283 0
《技术人的百宝黑皮书》下载
在这本书中,你将看到:各技术栈下时新前沿的技术讲解与方法技巧、淘系技术大牛的职场成长经验&amp;学习问答实录、年度精选技术人员必读书单、淘系经典开源项目介绍、2020淘系顶会 paper 全文。
91 0
《技术人的百宝黑皮书》下载

热门文章

最新文章