DataWorks数据源问题之测试失败如何解决-阿里云开发者社区

DataWorks数据源问题之测试失败如何解决

2024-02-24 69

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

大数据开发治理平台DataWorks，Serverless资源组抵扣包300CU*H

简介： DataWorks数据源是指DataWorks中配置的用于数据集成的外部数据源；本合集将讲解如何在DataWorks中配置和管理数据源，以及处理数据源连接和集成过程中的问题。

问题一：dataworks数据集成实时同步任务？

dataworks数据集成实时同步任务？

参考回答：

**DataWorks数据集成实时同步任务，目前对于Oracle主库支持订阅联机重做日志（Online Redo），对于Oracle备库仅支持订阅归档日志。因此，对于时效性要求比较高的实时同步任务，建议订阅主库的实时增量变更。订阅Oracle备库时，Oracle日志的产生到可以被获取的最短延迟时间取决于Oracle的自动切换归档日志的时间，不能保证时效性。Oracle数据库的归档日志建议保留3天。当写入大批量数据至Oracle数据库时，实时同步数据的速度可能会慢于日志生成的速度，方便在同步任务出现问题时，为追溯数据预留足够的时间。您可以通过分析归档日志排查问题并恢复数据。DataWorks数据集成实时同步任务，不支持对Oracle数据库中无主键的表进行truncate操作。对于无主键表进行日志分析（即logminer操作）是根据Rowid进行回查，当遇到truncate操作时会修改原表的Rowid，该操作会导致同步任务运行报错。在规格为24 vCPU 192 GiB的DataWorks上运行实时同步任务时，如果非update等操作日志较多，并且速度达到约每秒记录3~5W条数据的极限速度，则Oracle服务器的单核CPU使用率最高可以达到25%～35%；如果处理update等操作日志，则处理实时同步消息的DataWorks机器可能会存在性能瓶颈，Oracle服务器的单核CPU使用率仅可以达到1%～5%。 https://help.aliyun.com/document_detail/203578.html

关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/505293?spm=5176.8068049.0.0.77566d19PXNmxo

问题二：DataWorks数据集成怎么选资源组？创建使用

DataWorks数据集成怎么选资源组？创建使用

参考回答：

**单击当前页面左上方的图标，选择全部产品 > 数据开发 > DataStudio（数据开发）。在顶部菜单栏的工作空间列表，选择数据集成资源组的归属工作空间。在数据开发页面，展开相应的业务流程，双击需要配置资源组的离线同步节点。在节点的编辑页面，单击右侧的数据集成资源组配置。在数据集成资源组配置对话框右下角，单击更多选项。在数据集成资源组配置子对话框中，根据业务需求，选择相应的方案和资源组。