开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

对实时同步的kafka任务 输出的表进行。小文件合并 对任务会有影响吗?

对实时同步的kafka任务 输出的表进行。小文件合并 对任务会有影响吗?

展开
收起
爱喝咖啡嘿 2022-12-26 16:55:02 191 0
1 条回答
写回答
取消 提交回答
  • 是输出到mc的表么?写入完成后合并是没有问题的,但合并小文件和插入的操作会不会有并发异常需要和mc同学确认一下看看哈——此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2022-12-27 17:16:10
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载