kafka 三种消费语义

简介: 消费语义at most once:最多消费一次,消息可能会丢失-------log日志at least once:至少消费一次,但是会重复消费 例如手动异步提交offsetexactly once:正好一次,不丢失,不重复 0.10.0.1不支持,官方说0.11已支持 例子1.log日志允许丢失 使用第一种2.log日志算钱的不允许丢,使用第二种+去重+redis部分公司去重方法,对每一条日志取一个hash值,存放到redis里面,如果redis里面有了,就不放到下游去处理3.mysql sql语句入库 选择第二种并使用hbase的put保证去重复。

消费语义
at most once:最多消费一次,消息可能会丢失-------log日志
at least once:至少消费一次,但是会重复消费 例如手动异步提交offset
exactly once:正好一次,不丢失,不重复

                0.10.0.1不支持,官方说0.11已支持

例子
1.log日志允许丢失 使用第一种
2.log日志算钱的不允许丢,使用第二种+去重+redis
部分公司去重方法,对每一条日志取一个hash值,存放到redis里面,如果redis里面有了,就不放到下游去处理
3.mysql sql语句入库 选择第二种并使用hbase的put保证去重复。
insert into。。。1;
insert into。。。2;
insert into。。。3;

相关文章
|
消息中间件 Kafka API
原理剖析| Kafka Exactly Once 语义实现原理:幂等性与事务消息
原理剖析| Kafka Exactly Once 语义实现原理:幂等性与事务消息
410 0
|
消息中间件 Kafka API
Kafka Exactly Once 语义实现原理:幂等性与事务消息
Apache Kafka的Exactly-Once语义确保了消息处理的准确性和一致性。通过幂等性和事务消息,Kafka实现了要么全处理要么全不处理的原子性。文章详细解析了Kafka事务的工作流程,包括生产者的幂等性(通过序列号保证),以及事务消息的提交和回滚过程。Kafka事务提供了ACID保证,但存在性能限制,如额外的RPC请求和单生产者只能执行一个事务。此外,事务适用于同集群内的操作,跨集群时原子性无法保证。了解这些原理有助于开发者更好地利用Kafka事务构建可靠的数据处理系统。
981 3
 Kafka Exactly Once 语义实现原理:幂等性与事务消息
|
消息中间件 存储 缓存
深入解析 Kafka Exactly Once 语义设计 & 实现
本篇文章主要介绍 Kafka 如何在流计算场景下保证端到端的 Exactly Once 语义,通过其架构上的设计以及源码分析帮助读者理解背后的实现原理。什么是 Exactly-Once?消息的投递语义主要分为三种:At Most Once: 消息投递至多一次,可能会丢但不会出现重复。At Least Once: 消息投递至少一次,可能会出现重复但不会丢。Exactly Once: 消息投递正好一次
深入解析 Kafka Exactly Once 语义设计 & 实现
|
消息中间件 JSON NoSQL
记一次Flink 消费Kafka数据积压排查解决
记一次Flink 消费Kafka数据积压排查解决
记一次Flink 消费Kafka数据积压排查解决
|
消息中间件 分布式计算 监控
面对Kafka消费不给力,如何轻松解决呢?
随着目前业务复杂度的增加,项目中经常需要有大量的跨系统异步任务需要处理。
面对Kafka消费不给力,如何轻松解决呢?
|
消息中间件 NoSQL Kafka
【Flink-FlinkUtils】高级自定义封装工具类实现消费kafka数据保存数据到Redis
【Flink-FlinkUtils】高级自定义封装工具类实现消费kafka数据保存数据到Redis
573 0
【Flink-FlinkUtils】高级自定义封装工具类实现消费kafka数据保存数据到Redis
|
消息中间件 弹性计算 Java
【采坑-Flink消费kafka中的数据】阿里云ECS/VMware之zookeeper和kafka单机/集群环境
【采坑-Flink消费kafka中的数据】阿里云ECS/VMware之zookeeper和kafka单机/集群环境
513 0
【采坑-Flink消费kafka中的数据】阿里云ECS/VMware之zookeeper和kafka单机/集群环境
|
消息中间件 缓存 Kafka
Kafka 怎么顺序消费?面试必备。。。
Kafka 怎么顺序消费?面试必备。。。
495 1
|
消息中间件 存储 运维
Kafka消费组/者协调器的介绍
什么是协调器 协调器是用于协调多个消费者之间能够正确的工作的一个角色, 比如计算消费的分区分配策略,又或者消费者的加入组与离开组的处理逻辑, 有一点类似Kafka种的控制器的角色。
2946 0
Kafka消费组/者协调器的介绍
|
消息中间件 存储 缓存
Kafka/Spark/Flink Exactly-once语义调研
Kafka/Spark/Flink Exactly-once语义调研
656 0

热门文章

最新文章