开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute应该怎样建表才可以接受到记录呢?

官方文档说Append类型Sink无法接收上游update记录,那在大数据计算MaxCompute应该怎样建表才可以接受到记录呢?d8f0d674d618256130f375725bff084c.png
用Flink 1.14.5的jdbc connector是可以正常写入maxcompute的,但是mysql-cdc connector 写maxcompute报错,报错原因就是这个

展开
收起
真的很搞笑 2023-12-10 15:16:12 61 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在大数据计算MaxCompute中,如果需要接收update记录,应选择支持更新操作的表类型。例如,可以使用支持UPDATE操作的INSERT ONLY模式来创建表。在此模式下,当上游有新的记录产生时,这些记录将被接收并存储在表中。同时,如果表中已经存在相应的记录,那么这些记录的值将被更新为上游新产生的记录的值。

    在创建新表时,需要确保列数据类型与待导入的数据文件的各列数据类型保持一致,否则可能会导致后续导入数据操作失败。此外,MaxCompute提供了完善的数据导入方案以及多种经典的分布式计算模型,可以快速解决用户的海量数据计算问题。

    2023-12-11 14:15:20
    赞同 展开评论 打赏
  • 用maxcompute的事物表才支持upsert语句 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-12-11 12:50:38
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载