官方文档说Append类型Sink无法接收上游update记录,那在大数据计算MaxCompute应该怎样建表才可以接受到记录呢?
用Flink 1.14.5的jdbc connector是可以正常写入maxcompute的,但是mysql-cdc connector 写maxcompute报错,报错原因就是这个
在大数据计算MaxCompute中,如果需要接收update记录,应选择支持更新操作的表类型。例如,可以使用支持UPDATE操作的INSERT ONLY模式来创建表。在此模式下,当上游有新的记录产生时,这些记录将被接收并存储在表中。同时,如果表中已经存在相应的记录,那么这些记录的值将被更新为上游新产生的记录的值。
在创建新表时,需要确保列数据类型与待导入的数据文件的各列数据类型保持一致,否则可能会导致后续导入数据操作失败。此外,MaxCompute提供了完善的数据导入方案以及多种经典的分布式计算模型,可以快速解决用户的海量数据计算问题。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。