开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks性能调优配置限速是什么?

dataworks性能调优配置限速是什么?

展开
收起
爱喝咖啡嘿 2022-12-18 18:06:09 230 0
3 条回答
写回答
取消 提交回答
  • 数据集成同步任务默认不限速,任务将在所配置的并发数的限制上以最高能达到的速度进行同步。另一方面,考虑到速度过高可能对数据库造成过大的压力从而影响生产,数据集成同时提供了限速选项,您可以按照实际情况调优配置(建议选择限速之后,最高速度上限不应超过30 MB/s)。脚本模式通过如下示例代码配置限速,代表1 MB/s的传输带宽。"setting": {"speed": {"throttle": true // 是否限流。"mbps": 1, // 具体速率值。}}throttle包括true和false:当throttle设置为true时,表示限速,您必须设置mbps具体的数据值。如果没有设置mbps,程序运行将会出错或者速率异常。当throttle设置为false时,表示不限速,则mbps的配置无意义。流量度量值是数据集成本身的度量值,不代表实际网卡流量。通常,网卡流量往往是通道流量膨胀的1至2倍,实际流量膨胀取决于具体的数据存储系统传输序列化情况。半结构化的单个文件没有切分键的概念,多个文件可以设置作业速率上限来提高同步的速度,但作业速率上限和文件的个数有关。例如,有n个文件,作业速率上限最多设置为n MB/s:如果设置n+1 MB/s,还是以n MB/s速度同步。如果设置为n-1 MB/s,则以n-1 MB/s速度同步。关系型数据库设置作业速率上限和切分键后,才能根据作业速率上限将表进行切分。关系型数据库通常只支持数值型作为切分键,但Oracle数据库支持以数值型和字符串类型作为切分键。 https://help.aliyun.com/document_detail/137789.html——此答案整理自钉群“DataWorks交流群(答疑@机器人)”

    2022-12-19 15:51:42
    赞同 展开评论 打赏
  • 数据集成同步任务默认不限速,任务将在所配置的并发数的限制上以最高能达到的速度进行同步。另一方面,考虑到速度过高可能对数据库造成过大的压力从而影响生产,数据集成同时提供了限速选项,您可以按照实际情况调优配置(建议选择限速之后,最高速度上限不应超过30 MB/s)。脚本模式通过如下示例代码配置限速,代表1 MB/s的传输带宽。

    2022-12-19 07:54:32
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,看看这个:调度参数配置完成后,您需要使用在开发环境执行冒烟测试功能,通过配置业务日期,模拟目标任务的调度场景,来验证该场景下调度参数的替换情况是否符合预期。

    节点编辑页面,单击右侧导航栏的调度配置,配置调度周期,确保节点保存并提交;(假设当前文章发布日期:2022年04月20日,实例生成方式:发布后及时生成;调度类型:正常调度;调度周期:小时,开始时间:17:00,结束时间:18:59,时间间隔:1小时;var1=$bizdate;var2=$cyctime;var3=${yyyymmdd};var4=${yyyymmddhh24miss};${bdp.system.cyctime})(需要更正var4=$[yyyymmddhh24miss]) 单击在开发环境执行冒烟测试图标,弹出开发环境测试弹窗,配置业务日期、开始时间、结束时间;(开发环境测试弹窗内,业务日期:2022年04月19日,开始时间:17:00,结束时间:18:00) 在指定运行时间完成后,单击查看开发环境执行冒烟测试日志图标,查看冒烟测试日志中的结果是否符合预期;(日志开头和结果输出都会打印结果---var1:20220419;var2:20220420170000;var3:20220419 ;var4:20220419hh24miss;20220420170000)(var4显示的结果不正确,是因为变量设置的时候,赋值错误;由于$bizdate只支持精确到天,因此${…}参数仅支持取值到天。)(参考DataWorks:调度参数概述---参数取值定义)

    说明

    修改代码后,请及时保存(点击图标)并提交(点击图标)节点。当节点最新代码提交至开发环境后,才可使用在开发环境执行冒烟测试功能。 冒烟测试没有问题,就可以发布了。 运行(点击图标)与高级运行(点击图标)功能需要您手动为代码中的变量赋值常量,因此无法校验配置的调度参数是否符合预期。

    2022-12-19 07:54:33
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多