初识kafka

• kafka是一个具有高吞吐，可水平扩展，可持久化的流式数据处理平台。
• kafka主要包括：消息系统、日志系统、流式处理平台、zookeeper 四大重要组件。

  消息系统的重要概念：生产者（producer），消费者（customer），服务节点（broker）。消息系统中一个重要的原理：通过连通器原理实现了保持数据的一致性。

日志系统的重要概念：副本、主题、分区、时间轮。日志持久化在磁盘中从而保证了数据的稳定性和可持久化，同时大量使用页存储从达到了消息的高吞吐。

流式处理平台：kafka不仅是一个消息中间件，还是一个可提供消息聚合、连接、变换的流式数据处理平台。

# kafka体系结构

• kafka体系结构主要由若干producer、若干customer、若干broker 三大模块构成，并由zookeeper进行协调并管理集群元数据。
• producer生成消息发送到broker中，broker将消息存储在磁盘（kafka用磁盘作为主要的存储介质），customer从broker订阅并消费消息。