kafka学习笔记（二）（上）

2022-05-19 252

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

日志服务 SLS，月写入数据量 50GB 1个月

简介： kafka学习笔记（二）

一、基本概念

kafka中每条记录包含一个key，一个value和一个时间戳。

Topics

每个Topic，kafka都会维持一个分区日志，每个分区都是有序且不可变的记录集，分区中的每一个记录都有对应的id表示顺序，kafka中称之为offset。用于唯一的标识分区中的每一条记录。

kafka分区日志

kafka中增加或者减少消费者对已经存在的消费者消费数据是没有影响的，因为每一个消费者中唯一保存的元数据是offset。

分区

kafka中，每个分区都有一台server作为leader，其他为follwers，leader处理对分区的读写，follwers被动的从leader上同步数据。

每个分区内的记录是有序的，但并不保证主体中不同分区的顺序

消费者

一个消费者组是一个逻辑订阅者

1、如果所有的消费者实例在同一消费组中，消息记录会负载平衡到每一个消费者实例.

2、如果所有的消费者实例在不同的消费组中，每条消息记录会广播到所有的消费者进程.

3、kafka会将topic中的partion划分到每一个消费者实例上，确保每个实例都是分区唯一的消费者，有新的实例加入组或者有实例离开组时，都会动态的接管一些partion。

消费者组

kafka消费者正是基于以上特点，和传统的消息系统不同，kafka同时具备队列和发布-订阅的特性，同一个消费者组中，消费者实例处理消息记录后消息即被丢弃（offset偏移），这是kafka的队列特性，同时，消息可以广播分发给不同消费者组，这是kafka的发布-订阅特性。

kafka相比传统消息系统具备更严格的顺序保证

如下图所示，传统消息系统中，虽然服务器顺序的存储消息并顺序输出，但是消息异步到达消费者，因此在并行消费的情况下，无法保证消息的顺序性。

传统消息系统消费机制

kafka中，每个partion由一个消费者组中的一个消费者所消费，该消费者即为分区的唯一读者，并按顺序消费数据，因此可以保证消息的顺序性。但是消费者组中的消费者实例个数不能超过分区的数量。

kafka分区消费机制

如果某主题对顺序有强一致性，可以通过kafka的该特性将该主题的数据写入到指定的partion中（我们可通过props.put("partitioner.class","***")指定分区策略），可以通过实现Partitioner接口来自定义我们的分区策略，如果是spring-cloud-stream，可通过下面方式指定分区策略，具体可参考spring-cloud-stream官网说明

@InboundChannelAdapter(channel = Source.OUTPUT, poller = @Poller(fixedRate = "5000"))
    public Message<?> generate() {
        String value = data[RANDOM.nextInt(data.length)];
        System.out.println("Sending: " + value);
        return MessageBuilder.withPayload(value)
                .setHeader("partitionKey", value)
                .build();