数据集成同步任务默认不限速,任务将在所配置的并发数的限制上以最高能达到的速度进行同步。另一方面,考虑到速度过高可能对数据库造成过大的压力从而影响生产,数据集成同时提供了限速选项,您可以按照实际情况调优配置(建议选择限速之后,最高速度上限不应超过30 MB/s)。脚本模式通过如下示例代码配置限速,代表1 MB/s的传输带宽。"setting": {"speed": {"throttle": true // 是否限流。"mbps": 1, // 具体速率值。}}throttle包括true和false:当throttle设置为true时,表示限速,您必须设置mbps具体的数据值。如果没有设置mbps,程序运行将会出错或者速率异常。当throttle设置为false时,表示不限速,则mbps的配置无意义。流量度量值是数据集成本身的度量值,不代表实际网卡流量。通常,网卡流量往往是通道流量膨胀的1至2倍,实际流量膨胀取决于具体的数据存储系统传输序列化情况。半结构化的单个文件没有切分键的概念,多个文件可以设置作业速率上限来提高同步的速度,但作业速率上限和文件的个数有关。例如,有n个文件,作业速率上限最多设置为n MB/s:如果设置n+1 MB/s,还是以n MB/s速度同步。如果设置为n-1 MB/s,则以n-1 MB/s速度同步。关系型数据库设置作业速率上限和切分键后,才能根据作业速率上限将表进行切分。关系型数据库通常只支持数值型作为切分键,但Oracle数据库支持以数值型和字符串类型作为切分键。 https://help.aliyun.com/document_detail/137789.html——此答案整理自钉群“DataWorks交流群(答疑@机器人)”
数据集成同步任务默认不限速,任务将在所配置的并发数的限制上以最高能达到的速度进行同步。另一方面,考虑到速度过高可能对数据库造成过大的压力从而影响生产,数据集成同时提供了限速选项,您可以按照实际情况调优配置(建议选择限速之后,最高速度上限不应超过30 MB/s)。脚本模式通过如下示例代码配置限速,代表1 MB/s的传输带宽。
楼主你好,看看这个:调度参数配置完成后,您需要使用在开发环境执行冒烟测试功能,通过配置业务日期,模拟目标任务的调度场景,来验证该场景下调度参数的替换情况是否符合预期。
节点编辑页面,单击右侧导航栏的调度配置,配置调度周期,确保节点保存并提交;(假设当前文章发布日期:2022年04月20日,实例生成方式:发布后及时生成;调度类型:正常调度;调度周期:小时,开始时间:17:00,结束时间:18:59,时间间隔:1小时;var1=$bizdate;var2=$cyctime;var3=${yyyymmdd};var4=${yyyymmddhh24miss};${bdp.system.cyctime})(需要更正var4=$[yyyymmddhh24miss]) 单击在开发环境执行冒烟测试图标,弹出开发环境测试弹窗,配置业务日期、开始时间、结束时间;(开发环境测试弹窗内,业务日期:2022年04月19日,开始时间:17:00,结束时间:18:00) 在指定运行时间完成后,单击查看开发环境执行冒烟测试日志图标,查看冒烟测试日志中的结果是否符合预期;(日志开头和结果输出都会打印结果---var1:20220419;var2:20220420170000;var3:20220419 ;var4:20220419hh24miss;20220420170000)(var4显示的结果不正确,是因为变量设置的时候,赋值错误;由于$bizdate只支持精确到天,因此${…}参数仅支持取值到天。)(参考DataWorks:调度参数概述---参数取值定义)
说明
修改代码后,请及时保存(点击图标)并提交(点击图标)节点。当节点最新代码提交至开发环境后,才可使用在开发环境执行冒烟测试功能。 冒烟测试没有问题,就可以发布了。 运行(点击图标)与高级运行(点击图标)功能需要您手动为代码中的变量赋值常量,因此无法校验配置的调度参数是否符合预期。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。