Kafka 生产者 API 回顾|学习笔记

简介: 快速学习Kafka 生产者 API 回顾

开发者学堂课程【大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建):Kafka 生产者 API 回顾】学习笔记与课程紧密联系,让用户快速学习知识

课程地址https://developer.aliyun.com/learning/course/670/detail/11613


Kafka 生产者 API 回顾

 

内容介绍:

一、创建新的项目

二、创建Kafka生产者

三、创建数据的载体

四、发送数据

五、关闭生产者

 

一、创建新的项目

1.在Pom 文件已给好的前提下,创建一个 Maven 的项目,来测试我Kafka 的生产者 API :

File-文件-新建 project -创建 Maven 项目,点击下一步。

创建如下内容:

图片1.png

并完善 Pom 文件, Pom 文件为 Java 提供测试环境。

2. 将讲义中相关内容粘贴保存。出现以下问题时的解决办法有

(1)当环境中缺少两个目录时

原因在于 src 、 main 和 txt中没有 scala ,需要分别手动创建 scala 。

创建完成后,此时的 Pom 文件就不存在报错问题。

 图片2.png

2其他问题

找到 File - setting - Maven ,并将 Maven 的地址和 setting file 配置到你自己的环境当中。

图片3.png

3.写生产者的 API生成

在test - Kafka - Java 中新建一个 Java Class,起名叫 test producer ,创建完成后,进行测试。

首先采用 main 方法:创建 main、 ,准备实现 Kafka 生产者的API。

图片4.png

二、创建 Kafka 的生产者

1.要有数据类型叫KafkaProducer 然后这里面有一个泛型[K,V]填入为 String类型

//设置集群属性

props.put("bootstrap.servers","192.168.100.100:9092,192.168.100.110:9092,192.168.100.120:9092,");

//设置keyvalue序列化方式

props.put("key.serializer","org.apache.kafka.common.serialization.

StringSerializer");props.put("value.serializer","org.apache.kafka.common.serialization.StringSerializer");

// 1、创建kafka 生产者

KafkaProducer<String,String>kafkaProducer=newKafkaProducer<String,String>(props);

2.创建一个硬件配置文件,并往填充数据

KafkaProducer<String,String>kafkaProducer=new KafkaProducer<StringString>(props);

这个就是 Key 的一个序列化的方式。

3. 处理好配置文件后,把配置文件添加到这里面来。

 

三、创建数据的载体。

1.简单准备几个数据,把这个流程跑通,并把数据打到 Kafka 里面即可。并循环5次。

2. 准备这个数据的载体,命名为producer record。

3. 修改一个String数据类型,然后再编辑名字。

叫做record即一个新的 record;数据类型依然是string;输入

创建数据的载体

ProducerRecord<StringString)record=new ProducerRecord(StringString>(topic:"test",value:“123456”);

 

四、发送数据

1.复制 Kafka 的生产者。

2. 输入.send,即message消息的载体。完成发送。

kafkaProducer.send(record);


五、关闭生产者

输入 KafkaProducer,close();

执行数据,检查是否能将其打入 Kafka 中:

确认此 Kafka 中不存在topic。

跑一下这个程序:右键执行。

执行完成后,检查 topic是否产生变化,是否产生多个topic。

确认数据是否是填入的[123456]吗。

查询数据From--from-beginning,看一下是否能产生相关数据并循环执行,把程序再跑一遍,若不存在差错,即已将数据打入 Kafka 生产者中。

图片5.png

附加:消费者的相关代码

相关文章
|
7月前
|
消息中间件 Linux Kafka
linux命令使用消费kafka的生产者、消费者
linux命令使用消费kafka的生产者、消费者
339 16
|
10月前
|
消息中间件 Kafka
【赵渝强老师】Kafka生产者的执行过程
Kafka生产者(Producer)将消息序列化后发送到指定主题的分区。整个过程由主线程和Sender线程协调完成。主线程创建KafkaProducer对象及ProducerRecord,经过拦截器、序列化器和分区器处理后,消息进入累加器。Sender线程负责从累加器获取消息并发送至KafkaBroker,Broker返回响应或错误信息,生产者根据反馈决定是否重发。视频和图片详细展示了这一流程。
260 61
|
9月前
|
消息中间件 Java Kafka
SpringBoot使用Kafka生产者、消费者
SpringBoot使用Kafka生产者、消费者
478 10
|
10月前
|
消息中间件 Kafka
【赵渝强老师】Kafka生产者的消息发送方式
Kafka生产者支持三种消息发送方式:1. **fire-and-forget**:发送后不关心结果,适用于允许消息丢失的场景;2. **同步发送**:通过Future对象确保消息成功送达,适用于高可靠性需求场景;3. **异步发送**:使用回调函数处理结果,吞吐量较高但牺牲部分可靠性。视频和代码示例详细讲解了这三种方式的具体实现。
345 5
|
消息中间件 存储 负载均衡
Apache Kafka核心概念解析:生产者、消费者与Broker
【10月更文挑战第24天】在数字化转型的大潮中,数据的实时处理能力成为了企业竞争力的重要组成部分。Apache Kafka 作为一款高性能的消息队列系统,在这一领域占据了重要地位。通过使用 Kafka,企业可以构建出高效的数据管道,实现数据的快速传输和处理。今天,我将从个人的角度出发,深入解析 Kafka 的三大核心组件——生产者、消费者与 Broker,希望能够帮助大家建立起对 Kafka 内部机制的基本理解。
482 2
|
消息中间件 NoSQL Kafka
大数据-52 Kafka 基础概念和基本架构 核心API介绍 应用场景等
大数据-52 Kafka 基础概念和基本架构 核心API介绍 应用场景等
215 5
|
消息中间件 SQL 分布式计算
大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题
大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题
176 1
|
消息中间件 Kafka
消费kafka不需要设置 压缩协议吗 假如生产者压缩协议是lz4
消费kafka不需要设置 压缩协议吗 假如生产者压缩协议是lz4
|
jenkins API 持续交付
jenkins学习笔记之十五:SonarSQube API使用
jenkins学习笔记之十五:SonarSQube API使用
|
消息中间件 安全 机器人
【Azure 事件中心】Kafka 生产者发送消息失败,根据失败消息询问机器人得到的分析步骤
【Azure 事件中心】Kafka 生产者发送消息失败,根据失败消息询问机器人得到的分析步骤
412 0