Kafka单机模式和集群模式环境搭建

简介: Kafka单机模式和集群模式环境搭建

快速开始教程:http://kafka.apache.org/quickstart


2、启动服务

需要先启动ZooKeeper服务

$ zkServer.sh start

# 如果没有,可以使用单节点的ZooKeeper
$ bin/zookeeper-server-start.sh config/zookeeper.properties

启动Kafka

> bin/kafka-server-start.sh config/server.properties


3、创建话题

$ bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test


# 查看话题
$ bin/kafka-topics.sh --list --bootstrap-server localhost:9092

4、发送消息

$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

5、接收消息

$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
This is a message
This is another message

多节点服务

1、修改配置

broker.id 在集群中需要唯一

$ cp config/server.properties config/server-1.properties
$ cp config/server.properties config/server-2.properties

$ cat config/server-1.properties:
broker.id=1
listeners=PLAINTEXT://:9093
log.dirs=/tmp/kafka-logs-1

$ config/server-2.properties:
broker.id=2
listeners=PLAINTEXT://:9094
log.dirs=/tmp/kafka-logs-2

2、创建话题

> bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic

# 查看话题描述
> bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test

> bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic

3、查看进程,一共有6个(我的天)

$ jps
72513 Kafka # 3个Kafka组成集群
72816 Kafka
73081 Kafka
73872 Jps
73347 ConsoleProducer # 生产者
73609 ConsoleConsumer # 消费者
35198
68590 QuorumPeerMain # Zookeeper


            </div>
目录
相关文章
|
存储 物联网 网络性能优化
|
机器学习/深度学习 人工智能 算法
【AI超级美发师】深度学习算法打造染发特效(附代码)
如今,在类似天天P图、美图秀秀等手机APP中,给指定照片或视频中的人物更换头发颜色已经是再正常不过的事情了。那么本文便介绍了该功能背后如AI头发分割模块、头发换色、颜色增强与修正模块等技术原理(附代码)。
3915 0
|
传感器 机器学习/深度学习 人工智能
自动驾驶汽车中的AI:从概念到现实
【10月更文挑战第31天】自动驾驶汽车曾是科幻概念,如今正逐步成为现实。本文探讨了自动驾驶汽车的发展历程,从早期的机械控制到现代的AI技术应用,包括传感器融合、计算机视觉、路径规划和决策控制等方面。尽管面临安全性和法规挑战,自动驾驶汽车在商用运输、公共交通和乘用车领域展现出巨大潜力,未来将为人类带来更安全、便捷、环保的出行方式。
|
弹性计算 Linux 数据库
阿里云ECS服务器安装宝塔BT面板图文教程
宝塔BT面板支持Linux和Windows系统,本文以阿里云ECS云服务器Linux系统安装宝塔面板为例,云服务器吧分享安装宝塔面板教程: ECS安装宝塔BT面板图文教程开始: SSH登录ECS服务器 使用命令ssh root@你的服务器公网IP登录linux服务器。
19708 0
阿里云ECS服务器安装宝塔BT面板图文教程
|
机器学习/深度学习 安全 算法
【2023年第十一届泰迪杯数据挖掘挑战赛】A题:新冠疫情防控数据的分析 建模方案及python代码详解
本文介绍了2023年第十一届泰迪杯数据挖掘挑战赛A题的解题思路和Python代码实现,涵盖了新冠疫情防控数据的分析、建模方案以及数据治理的具体工作。
319 0
【2023年第十一届泰迪杯数据挖掘挑战赛】A题:新冠疫情防控数据的分析 建模方案及python代码详解
|
数据库 Android开发
Android选择本地视频和照片上传到服务器
照片photo: 将http//本地存放照片数据库电脑ip:端口号/fileaddress.png转image (一)后台发送来的数据转换Bitmap的方法: 用法: (二)将第一针显示出来方法: 用法: 视频vedio: 使用选择器获取的 content文件转file文件方法
449 0
Android选择本地视频和照片上传到服务器
在openstack云平台中,使用命令行创建云主机操作步骤
在openstack云平台中,使用命令行创建云主机操作步骤
777 0
在openstack云平台中,使用命令行创建云主机操作步骤
|
SQL 存储 分布式计算
Hive快速学习指南
Hive数据据仓库了解了解
Hive快速学习指南
|
存储 分布式计算 搜索推荐
1.1 云计算的产生背景|学习笔记
快速学习1.1 云计算的产生背景