# 云消息队列 Kafka 版 #
0
关注
10066内容
【Azure Kafka】使用Spring Cloud Stream Binder Kafka 发送并接收 Event Hub 消息及解决并发报错
reactor.core.publisher.Sinks$EmissionException: Spec. Rule 1.3 - onSubscribe, onNext, onError and onComplete signaled to a Subscriber MUST be signaled serially.
docker环境安装kafka/Flink/clickhouse镜像
通过上述步骤和示例，您可以系统地了解如何使用Docker Compose安装和配置Kafka、Flink和ClickHouse，并进行基本的验证操作。希望这些内容对您的学习和工作有所帮助。
Flink Materialized Table：构建流批一体 ETL
本文整理自阿里云智能集团 Apache Flink Committer 刘大龙老师在2024FFA流批一体论坛的分享，涵盖三部分内容：数据工程师用户故事、Materialized Table 构建流批一体 ETL 及 Demo。文章通过案例分析传统 Lambda 架构的挑战，介绍了 Materialized Table 如何简化流批处理，提供统一 API 和声明式 ETL，实现高效的数据处理和维护。最后展示了基于 Flink 和 Paimon 的实际演示，帮助用户更好地理解和应用这一技术。
docker compose 安装 kafka
通过本文的步骤，您可以快速在本地使用 Docker Compose 安装并配置 Kafka 和 Zookeeper。Docker Compose 简化了多容器应用的管理，方便快速搭建和测试分布式系统。
Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计
本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享，涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进，以及总结。文章通过三代实时数仓架构的演变，详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案，并探讨了未来从实时数仓到实时湖仓的演进方向。最后，结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用，帮助用户根据业务需求选择合适的方案。
尼恩一键开发环境： vagrant+java+springcloud+redis+zookeeper镜像下载(&制作详解)
尼恩提供了一系列文章，旨在帮助开发者轻松搭建一键开发环境，涵盖Java分布式、高并发场景下的多种技术组件安装与配置。内容包括但不限于Windows和CentOS虚拟机的安装与排坑指南、MySQL、Kafka、Redis、Zookeeper等关键组件在Linux环境下的部署教程，并附带详细的视频指导。此外，还特别介绍了Vagrant这一虚拟环境部署工具，
开源项目OpenIM单机部署生产环境异常处理及数据恢复
在生产环境中，通常会采用集群部署来保证组件和服务的高可用性。然而，在资源有限的情况下，一些开发者可能会选择在生产环境中进行单机部署（使用源码部署或docker容器）。本文将介绍在单机部署环境下如何进行数据备份、异常恢复，以及潜在的风险。
一、mongo定时数据备份
OpenIM核心数据存储在MongoDB中，因此备份MongoDB数据就能恢复大部分数据。在容器启动之前，设置mongo数据备份目录和定时任务。
数据备份
OpenIM服务的核心数据存储在MongoDB中，因此备份MongoDB数据就能恢复大部分数据。以下是备份的步骤：
修改备份目录
.env文件中修改MONGO_BACK
Flink CDC YAML：面向数据集成的 API 设计
本文整理自阿里云智能集团 Flink PMC Member & Committer 徐榜江（雪尽）在 FFA 2024 分论坛的分享，涵盖四大主题：Flink CDC、YAML API、Transform + AI 和 Community。文章详细介绍了 Flink CDC 的发展历程及其优势，特别是 YAML API 的设计与实现，以及如何通过 Transform 和 AI 模型集成提升数据处理能力。最后，分享了社区动态和未来规划，欢迎更多开发者加入开源社区，共同推动 Flink CDC 的发展。
解码大数据的四个V：体积、速度、种类与真实性
解码大数据的四个V：体积、速度、种类与真实性
kafka 的数据是放在磁盘上还是内存上，为什么速度会快？
Kafka的数据存储机制通过将数据同时写入磁盘和内存，确保高吞吐量与持久性。其日志文件按主题和分区组织，使用预写日志（WAL）保证数据持久性，并借助操作系统的页缓存加速读取。Kafka采用顺序I/O、零拷贝技术和批量处理优化性能，支持分区分段以实现并行处理。示例代码展示了如何使用KafkaProducer发送消息。
免费试用