曾经是一款由Scala 开发的分布式消息队列产品,现在生态已经扩展了,因为它推出了Kafka Streaming,所以现在也应该被称作是一个流处理平台了。
Kafka 的队列按照Topic 划分,每个Topic 下由多个Partition组成,在单个Partition 中的消息保证是有序的。这种结构下确保了消息是在磁盘顺序写入的,节省了磁盘寻址的时间,所以数据落盘的速度非常快。加之采用了mmap 的方式, 减少了用户态和内核态之间的数据拷贝次数, mmap是一种将文件内容和内存地址映射的技术,提效十分明显。Kafka 和Flume 的配合使用,形成了流式处理领域里的经典框架。
以上内容摘自《高德技术2020年刊合集》电子书,点击https://developer.aliyun.com/topic/download?id=1135可下载完成版
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。