淘东电商项目(49) -ELK+Kafka分布式日志收集(docker下搭建kafka)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 淘东电商项目(49) -ELK+Kafka分布式日志收集(docker下搭建kafka)

引言

本文代码已提交至Github,有兴趣的同学可以下载来看看:https://github.com/ylw-github/taodong-shop

在上一篇博客《淘东电商项目(48) -ELK+Kafka分布式日志收集(原理篇)》

讲解了使用ELK+Kafka在分布式环境下收集日志的原理。之前已经搭建好了ELK了,在本文将讲解基于Dokcer搭建Kafka,当然,搭建Kafka环境之前,需要搭建Zookeeper

本文目录结构:

l____引言

l____ 1. 安装前须知

l____ 2. Zookeeper的安装

l____ 3. Kafka的安装

l____ 4. 测试

1. 安装前须知

注意:如果要让ELK+Kafka(单机版)跑起来,必须满足如下要求:

1.虚拟机内存必须6G以上,否则无法运行

2.必须关闭防火墙,否则Kafka无法连接Zookeeper

2. Zookeeper的安装

1.下载zookeeper

docker pull wurstmeister/zookeeper

2.启动Zookeeper

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

3.查看zookeeper是否启动

docker ps

可以看到Zookeeper启动成功!

3. Kafka的安装

1.下载Kafka

docker pull wurstmeister/kafka

2.启动kafka

docker run --name kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=192.168.162.134:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.162.134:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
-d  wurstmeister/kafka

3.查看容器是否启动成功

docker ps

可以看到Kafka也启动成功了!

4. 测试

1.进入kafka容器:

docker exec -it kafka /bin/bash

2.创建my_log主题(提示“Created topic 主题名”表示创建成功):

/opt/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.162.134:2181 --replication-factor 1 --partitions 1 --topic my_log

3.查询创建主题:

/opt/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.162.134:2181

可以看到,查询结果为刚创建的主题my_log,成功!

目录
相关文章
|
5月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
78 4
|
5月前
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
74 1
|
5月前
|
存储 消息中间件 大数据
大数据-68 Kafka 高级特性 物理存储 日志存储概述
大数据-68 Kafka 高级特性 物理存储 日志存储概述
50 1
|
6月前
|
消息中间件 Kafka API
python之kafka日志
python之kafka日志
59 3
|
6月前
|
消息中间件 存储 监控
Kafka的logs目录下的文件都是什么日志?
Kafka的logs目录下的文件都是什么日志?
320 11
|
7月前
|
消息中间件 Java Kafka
如何在Kafka分布式环境中保证消息的顺序消费?深入剖析Kafka机制,带你一探究竟!
【8月更文挑战第24天】Apache Kafka是一款专为实时数据管道和流处理设计的分布式平台,以其高效的消息发布与订阅功能著称。在分布式环境中确保消息按序消费颇具挑战。本文首先介绍了Kafka通过Topic分区实现消息排序的基本机制,随后详细阐述了几种保证消息顺序性的策略,包括使用单分区Topic、消费者组搭配单分区消费、幂等性生产者以及事务支持等技术手段。最后,通过一个Java示例演示了如何利用Kafka消费者确保消息按序消费的具体实现过程。
233 3
|
7月前
|
消息中间件 监控 Kafka
Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
【8月更文挑战第13天】Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
397 3
|
7月前
|
消息中间件 Java Kafka
"Kafka快速上手:从环境搭建到Java Producer与Consumer实战,轻松掌握分布式流处理平台"
【8月更文挑战第10天】Apache Kafka作为分布式流处理平台的领头羊,凭借其高吞吐量、可扩展性和容错性,在大数据处理、实时日志收集及消息队列领域表现卓越。初学者需掌握Kafka基本概念与操作。Kafka的核心组件包括Producer(生产者)、Broker(服务器)和Consumer(消费者)。Producer发送消息到Topic,Broker负责存储与转发,Consumer则读取这些消息。首先确保已安装Java和Kafka,并启动服务。接着可通过命令行创建Topic,并使用提供的Java API实现Producer发送消息和Consumer读取消息的功能。
117 8
|
7月前
|
消息中间件 Java Kafka
【Azure 事件中心】开启 Apache Flink 制造者 Producer 示例代码中的日志输出 (连接 Azure Event Hub Kafka 终结点)
【Azure 事件中心】开启 Apache Flink 制造者 Producer 示例代码中的日志输出 (连接 Azure Event Hub Kafka 终结点)