# 云消息队列 Kafka 版 #
0
关注
9846内容
深度解析Kafka分区策略的精妙之处
深度解析Kafka分区策略的精妙之处
【Kakfa】Kafka 中 AR、ISR、OSR 三者的概念
【4月更文挑战第11天】【Kakfa】Kafka 中 AR、ISR、OSR 三者的概念
一文搞懂 Kafka consumer 与 broker 交互机制与原理
AutoMQ致力于打造下一代云原生Kafka系统，解决Kafka痛点。本文深入解析Kafka Consumer与Broker的交互机制，涉及消费者角色、核心组件及常用接口。消费者以group形式工作，包括leader和follower。交互流程涵盖FindCoordinator、JoinGroup、SyncGroup、拉取消息和退出过程。文章还探讨了broker的consumer group状态管理和rebalance原理。AutoMQ团队分享Kafka技术，感兴趣的话可以关注他们。
利用Hadoop进行实时数据分析的挑战与解决方案
【8月更文第28天】随着大数据技术的快速发展，企业和组织面临着越来越复杂的实时数据处理需求。Hadoop 作为一种分布式存储和处理大数据的框架，虽然擅长于批处理任务，但在处理实时数据流时存在一定的局限性。为了克服这些限制，Hadoop 经常与其他实时处理框架（如 Apache Kafka 和 Apache Storm）结合使用。本文将探讨如何利用 Hadoop 结合 Kafka 和 Storm 实现近实时的数据处理，并提供相关的代码示例。
|
一文读懂Kafka Connect核心概念
Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统进行离线分析。
免费试用