flink mysql to hudi 写入特别慢 那个大哥 可以帮忙分析下？
问题1:flink mysql to hudi 写入特别慢 那个大哥 可以帮忙分析下？
1分钟才写入两万的数据 太慢了，那个大哥碰到过？会更新的 问题2:那我先用COPY_ON_WRITE 一次性写入全量数据，还能再改为MERGE_ON_READ 接增量的数据么，这个不太行 领导不让中间再加kafka了，我先把hudi这个测同 再试试那个 两个对比下
展开
收起
1
条回答
写回答
写回答
-
回答1:hudi后台要做合并的肯定慢的，如果你数据不会更新的话，可以用追加写就快了，那确实快不了，或者你可以考虑去下游做合并或者去重，那你可以只追加写，hudi写入+合并就是不快的，'table.type' = 'COPY_ON_WRITE'，改成这个就快了，但是只会追加写 回答2:那你可以用cdc把数据写到kafka，你先COPY_ON_WRITE 一次性写入全量数据，然后把任务停掉，改成MERGE_ON_READ，指定offset启动，此回答整理自钉群“Flink CDC 社区”
2023-05-23 17:12:06赞同 展开评论 打赏
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
P人出游，你是否需要一个懂你更懂规划的AI导游呢？来搭建专属文旅问答机器人吧
2799
AI生成海报or人工手绘，哪个更戳你？
2053
Flink sql 累计历史订单金额
333
dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢？
2868
flink1.20.0 部署后发布报错，是怎么回事，各种配置都配置了
470
FFA 2024 大会门票免费送！AI时代下大数据技术未来路在何方？
2057
FlinkCDC如何保证数据的一致性?
232
虚拟机占用内存特别大，90多个G,网上各种方法都试过了，怎么解决这个问题
1555
数据来源：com.alibaba.fastjson.JSONException: syntax er
5762
FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
3705
展开全部
odps是什么?
71938
从声学模型算法角度总结 2016 年语音识别的重大进步
8999
MaxCompute SQL-列转行和行转列
13429
阿里云参与两大国家工程实验室获批，人工智能继续深入工业制造
8092
query语义改写
10149
DataV 发布分享 Token 验证
7925
基于TableStore/MaxCompute的数据采集分析系统介绍
4902
阿里关涛谈大规模计算—从数字化阿里到数字化城市的进化
5036
【云上ELK系列】阿里云Elasticsearch的Apache日志分析实践
4446
MaxCompute分布式计算如何提升基因大数据处理速率？
3943
展开全部
相关课程
更多
相关文章
相关电子书
更多
