开发者社区> 问答> 正文

Datahub同步maxcompute,对maxcompute进行覆盖修改

Datahub同步maxcompute时,如何根据部分字段重复,对maxcompute进行覆盖修改(千万级数据,按时间进行分区)? 例如:id相同的话,进行数据的覆盖。

展开
收起
游客va4uggtulb5wg 2020-05-15 17:41:03 2875 0
1 条回答
写回答
取消 提交回答
  • MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效的分析处理海量数据。

    您好,同步过程中是没有办法去重的,可以在源端处理,或者在MaxCompute中试下distinct。 如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接或扫一扫下方二维码加入 2群.png

    2020-05-21 11:08:20
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载