kafka manager安装

简介:

新blog地址:http://hengyunabc.github.io/kafka-manager-install/


项目信息

https://github.com/yahoo/kafka-manager

这个项目比 https://github.com/claudemamo/kafka-web-console 要好用一些,显示的信息更加丰富,kafka-manager本身可以是一个集群。

不过kafka-manager也没有权限管理功能。

Kafka web console的安装可以参考之前的blog:

http://blog.csdn.net/hengyunabc/article/details/40431627

安装sbt

sbt是scala的打包构建工具。

http://www.scala-sbt.org/download.html

ubuntu下安装:

echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list
sudo apt-get update
sudo apt-get install sbt

下载,编绎

编绎,生成发布包:

git clone https://github.com/yahoo/kafka-manager
cd kafka-manager
sbt clean dist

生成的包会在kafka-manager/target/universal 下面。生成的包只需要java环境就可以运行了,在部署的机器上不需要安装sbt。

如果打包很慢的话,可以考虑配置代理。

部署

打好包好,在部署机器上解压,修改好配置文件,就可以运行了。
- 解压

unzip kafka-manager-1.0-SNAPSHOT.zip
  • 修改conf/application.conf,把kafka-manager.zkhosts改为自己的zookeeper服务器地址
kafka-manager.zkhosts="localhost:2181"
  • 启动
cd kafka-manager-1.0-SNAPSHOT/bin
./kafka-manager -Dconfig.file=../conf/application.conf

查看帮助 和 后台运行:

./kafka-manager -h
nohup ./kafka-manager -Dconfig.file=../conf/application.conf >/dev/null 2>&1 &  

默认http端口是9000,可以修改配置文件里的http.port的值,或者通过命令行参数传递:

./kafka-manager -Dhttp.port=9001 

正常来说,play框架应该会自动加载conf/application.conf配置里的内容,但是貌似这个不起作用,要显式指定才行。

参考: https://github.com/yahoo/kafka-manager/issues/16

sbt 配置代理

sbt的配置http代理的参考文档:

http://www.scala-sbt.org/0.12.1/docs/Detailed-Topics/Setup-Notes.html#http-proxy

通过-D设置叁数即可:

java -Dhttp.proxyHost=myproxy -Dhttp.proxyPort=8080 -Dhttp.proxyUser=username -Dhttp.proxyPassword=mypassword

也可以用下面这种方式,设置一下SBT_OPTS的环境变量即可:

export SBT_OPTS="$SBT_OPTS -Dhttp.proxyHost=myproxy -Dhttp.proxyPort=myport"

要注意的是,myproxy,这个值里不要带http前缀,也不要带端口号。

比如,你的代理是http://localhost:8123,那么应该这样配置:

export SBT_OPTS="$SBT_OPTS -Dhttp.proxyHost=localhost -Dhttp.proxyPort=8123"

打好的一个包

如果打包有问题的小伙伴可以从这里下载:

http://pan.baidu.com/s/1kTtFpGV

md5: bde4f57c4a1ac09a0dc7f3f892ea9026

目录
相关文章
|
9月前
|
消息中间件 Kafka Linux
Apache Kafka-初体验Kafka(03)-Centos7下搭建kafka集群
Apache Kafka-初体验Kafka(03)-Centos7下搭建kafka集群
156 0
|
9月前
|
消息中间件 存储 缓存
从0开始回顾Kafka---系列三
消费者只能拉取到这个 offset 之前的消息。
|
9月前
|
消息中间件 存储 容灾
从0开始回顾Kafka---系列一
2、 Kafka有哪些优点和缺点? 优点: 1. 高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒。 2. 可扩展性:kafka集群支持水平扩展。 3. 持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失。 4. 容错性:允许集群中节点故障(若副本数量为n,则允许n-1个节点故障)。 5. 高并发:支持数千个客户端同时读写。 缺点: 1. 同步收发消息的响应时延比较高,因为当客户端发送一条消息的时候,Kafka 并不会立即发送出去,而是要等一会儿攒一批再发送。 2. Kafka 不太适合在线业务场景,由于是批量发送,所以数据达不到真正的实时。 3.
|
9月前
|
消息中间件 存储 安全
从0开始回顾Kafka---系列二
生产者 1、 Kafka 中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么? 分区器 ● 消息经过序列化之后就需要确定它发往的分区,如果消息 ProducerRecord 中指定了 partition 字段,那么就不需要分区器的作用,因为 partition 代表的就是所要发往的分区号。 ● 如果消息 ProducerRecord 中没有指定 partition 字段,那么就需要依赖分区器,根据 key 这个字段来计算 partition 的值。分区器的作用就是为消息分配分区。 序列化器 ● 生产者需要用序列化器(Serializer)把对象转换成字节数组才能通
kafka-manager
kafka-manager
59 0
|
消息中间件 缓存 运维
DiDi Kafka-Manager安装和简单使用
DiDi Kafka-Manager安装和简单使用
350 0
|
消息中间件 Java Kafka
Apache Kafka-CMAK(kafka manager)安装部署使用
Apache Kafka-CMAK(kafka manager)安装部署使用
448 0
|
消息中间件 Kafka 测试技术
Kafka-manager部署与使用简单介绍
Kafka-manager部署与使用简单介绍
393 0
Kafka-manager部署与使用简单介绍
|
消息中间件 Kafka
Ambari部署Kafka
Ambari部署Kafka
220 0
Ambari部署Kafka
|
消息中间件 Kafka

相关实验场景

更多