楼主你好,看一下这个思路:
如果(未更改的)数据量不大,您可以在APP_ID上将STG_APPLICATION和STG_APPLICATION_STATUS的完整快照连接在一起,直到它们按列类似于维度记录,并将它们存储在一个单独的表中,并使用其CDC散列作为前一天的使用。然后,您在此级别获取增量,并将(完整的)更改的记录作为更新发送到维度。
如果每日更新中的记录量使得连接整个表变得不切实际,那么您可以像现在一样使用增量和完整的外连接。然后查找此APP_ID的当前维度记录,并填写增量记录中的所有空字段。然后,完成的记录将作为维度的更新发送。这种解决方案需要较少的存储,但似乎更脆弱,特别是如果一天内可能有多个更改。如果有许多更改,性能也可能会受到影响。对于数百万条记录中的一小部分更改,它应该更有效。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。