Kafka 为什么快？

Kafka速度的秘诀在于，它把所有的消息都变成一个的文件。通过mmap提高I/O速度，写入数据的时候它是末尾添加所以速度最优；读取数据的时候配合sendfile直接暴力输出。 详细可以参考：https://blog.csdn.net/z69183787/article/details/80323581

问题太大，简单回答下 日志：日志分段、追加方式，使用顺序IO 读写：批处理 压缩 零拷贝 流处理提供的并发性

主要是底层读写机制做了一些优化

这个问题稍微有点广，从high level来说的话，虽然kafka用filesystem作为底层的存储和caching，但是因为使用了sequential IO，在很多情况下，尤其是small size records（1kb的records），能达到非常好的性能。另外建议看一下kafka采用的数据结构，queue（非tree结构）对于messaging system是非常友好的；另外broker里存储的数据格式是binary，所以通过避免serializaion和deserialization也可以获得提速