flinkcdc读取binlog后，是直接写入hive，还是先到kafka，写入hive呢？
flinkcdc读取binlog后，是直接写入hive，还是先到kafka，然后hive端消费kafka，写入hive呢？https://mp.weixin.qq.com/s?__biz=MzI1OTM5NDY0Mg==&mid=2247561212&idx=3&sn=dcfaf2b287200a40d728f169808cb727&chksm=ea7a32c1dd0dbbd7dbaa56b38075720d7e8a2833bf1c4d12d5eb9cc97e417e003221e27763b7&scene=27&poc_token=HIv9EGWj6UPQyyo8_EFiJZ0KBodsTeod9Q2-QKA2
写回答
-
FlinkCDC读取binlog后，通常会先写入Kafka，然后再写入Hive。这是因为Kafka是一个高吞吐量的分布式消息队列，可以提供高效的数据传输和处理。通过将数据先写入Kafka，可以降低FlinkCDC的压力，提高数据处理的性能和稳定性。此外，Kafka还提供了强大的数据流处理能力，可以方便地进行数据清洗、转换和聚合操作，从而进一步提高数据的质量和一致性。
2023-10-12 17:01:57赞同 展开评论 打赏 -
现在应该定义一下catalog, 直接写hive, 很久之前, 试过写hdfs目录, 反正hive元数据就是映射的hdfs路径, 定时flush, 然后hive表就能查到数据了，此回答整理自钉群“Flink CDC 社区”
2023-10-04 07:39:54赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
