# 云消息队列 Kafka 版 #
0
关注
9995内容
阿里云消息团队创新论文被软件工程顶会 FM 2024 录用
此论文灵感来源于 RocketMQ 适配阿里云倚天 CPU 的性能优化过程中。RocketMQ 此前在发送消息的过程中存在两种锁：自旋锁和互斥锁。本文旨在提出一种新的自适应 K 值退避锁，能够让高并发系统的部署者无需考虑两种锁的优劣势，只需使用一把锁即可实现性能的最优以及最低的资源损耗。
ApsaraMQ Serverless 能力再升级，事件驱动架构赋能 AI 应用
本文整理自2024年云栖大会阿里云智能集团高级技术专家金吉祥的演讲《ApsaraMQ Serverless 能力再升级，事件驱动架构赋能 AI 应用》。
得物面试：什么是零复制？说说 零复制 底层原理？（吊打面试官）
尼恩，40岁老架构师，专注于技术分享与面试辅导。近期，尼恩的读者群中有小伙伴在面试一线互联网企业如得物、阿里、滴滴等时，遇到了关于零复制技术的重要问题。为此，尼恩系统化地整理了零复制的底层原理，包括RocketMQ和Kafka的零复制实现，以及DMA、mmap、sendfile等技术的应用。尼恩还计划推出一系列文章，深入探讨Netty、Kafka、RocketMQ等框架的零复制技术，帮助大家在面试中脱颖而出，顺利拿到高薪Offer。此外，尼恩还提供了《尼恩Java面试宝典》PDF等资源，助力大家提升技术水平。更多内容请关注尼恩的公众号【技术自由圈】。
百亿级存储架构： ElasticSearch+HBase 海量存储架构与实现
本文介绍了百亿级数据存储架构的设计与实现，重点探讨了ElasticSearch和HBase的结合使用。通过ElasticSearch实现快速检索，HBase实现海量数据存储，解决了大规模数据的高效存储与查询问题。文章详细讲解了数据统一接入、元数据管理、数据一致性及平台监控等关键模块的设计思路和技术细节，帮助读者理解和掌握构建高性能数据存储系统的方法。
阿里面试：canal+MQ，会有乱序的问题吗？
本文详细探讨了在阿里面试中常见的问题——“canal+MQ，会有乱序的问题吗？”以及如何保证RocketMQ消息有序。文章首先介绍了消息有序的基本概念，包括全局有序和局部有序，并分析了RocketMQ中实现消息有序的方法。接着，针对canal+MQ的场景，讨论了如何通过配置`canal.mq.partitionsNum`和`canal.mq.partitionHash`来保证数据同步的有序性。最后，提供了多个与MQ相关的面试题及解决方案，帮助读者更好地准备面试，提升技术水平。
美团面试： Kafka为啥能实现 10Wtps 到100Wtps ？kafka 如何实现零复制 Zero-copy？
40岁老架构师尼恩分享了Kafka如何实现高性能的秘诀，包括零拷贝技术和顺序写。Kafka采用mmap和sendfile两种零拷贝技术，前者用于读写索引文件，后者用于向消费者发送消息，减少数据在用户空间和内核空间间的拷贝次数，提高数据传输效率。此外，Kafka通过顺序写日志文件，避免了磁盘寻道和旋转延迟，进一步提升了写入性能。尼恩还提供了系列技术文章和PDF资料，帮助读者深入理解这些技术，提升面试竞争力。
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用，但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响；数据一致性难以达到恰好一次；性能瓶颈在于网络和磁盘I/O；管理复杂性涉及集群配置与版本升级。
Apache Paimon 是一款高性能的数据湖框架，支持流式和批处理，适用于实时数据分析
【10月更文挑战第8天】随着数据湖技术的发展，越来越多企业开始利用这一技术优化数据处理。Apache Paimon 是一款高性能的数据湖框架，支持流式和批处理，适用于实时数据分析。本文分享了巴别时代在构建基于 Paimon 的 Streaming Lakehouse 的探索和实践经验，包括示例代码和实际应用中的优势与挑战。
说说如何解决RocketMq消息积压？为什么Kafka性能比RocketMq高？它们区别是什么？
【10月更文挑战第8天】在分布式系统中，消息队列扮演着至关重要的角色，它不仅能够解耦系统组件，还能提供异步处理、流量削峰和消息持久化等功能。在众多的消息队列产品中，RocketMQ和Kafka无疑是其中的佼佼者。本文将围绕如何解决RocketMQ消息积压、为什么Kafka性能比RocketMQ高以及它们之间的区别进行深入探讨。
Apache Kafka 成为实时数据流处理的关键组件
【10月更文挑战第8天】随着大数据技术的发展，Apache Kafka 成为实时数据流处理的关键组件。Kafka Manager 提供了一个简洁易用的 Web 界面，方便管理和监控 Kafka 集群。本文详细介绍了 Kafka Manager 的部署步骤和基本使用方法，包括配置文件修改、启动服务、创建和管理 Topic 等操作，帮助你快速上手。
免费试用