DataWorks配置数据源(输入为PolarDB)使用限制是什么?
在DataWorks中,配置PolarDB数据源时,存在一些使用限制,具体如下:
数据库版本:DataWorks目前支持PolarDB for PostgreSQL 10.0及以上版本。如果您使用的是低于10.0版本的PolarDB数据库,可能无法正常配置数据源。
网络设置:在配置PolarDB数据源时,需要开启数据库的公网访问权限,并将DataWorks的IP地址添加到数据库的白名单中。同时,为了保证数据传输的安全性,建议将数据库的访问权限设置为SSL加密方式。
并发连接数:DataWorks对每个PolarDB数据源的并发连接数有一定的限制,具体限制数量取决于您所购买的DataWorks实例规格和PolarDB数据库的配置情况。如果您需要提高并发连接数,可以考虑升级DataWorks实例或者增加PolarDB数据库的性能。
数据量大小:在使用PolarDB数据源时,需要注意数据量的大小和数据传输的效率。如果数据量过大,可能会导致数据传输过程中的延时和错误。建议您在使用PolarDB数据源时,尽可能减小数据传输的范围和数据量,以提高数据传输的效率和稳定性。
数据库访问权限:在配置PolarDB数据源时,需要使用具有读取和写入权限的数据库账号和密码。同时,建议您将账号和密码保存在DataWorks的密钥管理中,以保证账号和密码的安全性。
在DataWorks中配置数据源时,对于使用PolarDB(阿里云的云数据库服务)作为输入源,有以下一些限制:
数据库版本:DataWorks目前仅支持PolarDB for MySQL 5.7版本作为输入源。
网络连通性:确保DataWorks和PolarDB之间的网络连接是正常的,以便DataWorks能够访问和读取PolarDB中的数据。
账号权限:在配置数据源时,需要提供一个具有读取PolarDB数据表的账号。确保该账号拥有足够的权限来执行所需的数据操作。
表结构变更:如果PolarDB中的表结构发生变化(例如添加或删除列),需要手动更新DataWorks中相应的数据表结构,以便保持数据同步和正确性。
容量限制:DataWorks对于单个数据表的容量有限制,最大支持10TB的数据表容量。如果超过这个限制,可能需要进行数据分片或其他处理来满足要求。
目前仅支持使用同步方案同步PolarDB MySQL类型的数据源,不支持同步其他类型的PolarDB数据源。文中均使用PolarDB代指PolarDB MySQL类型的数据源。PolarDB目前只能用主节点(读写库)进行实时同步。
https://help.aliyun.com/document_detail/203625.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。