DataWorks购买指引场景三:每天保障并发运行特定数量实例,并支持多线程并发传输数据?
场景说明 业务需要每天早上9点准时查看报表,主要内容为访问CDN日志和客户端设备类型分布。原始数据在运维人员的云上RDS业务数据库中,每天数据增量约30G,需要进行数据同步。场景分析 在场景二的基础上,增加了大量同步任务的时效性要求。因此,同步任务在被准时调度运行的基础上,还需要部署固定的计算资源、网络资源,来支撑多并发传输,避免同步任务无法启动多线程并发传输。购买方案必选商品:DataWorks按量付费、DataWorks独享调度资源(包年包月)和独享数据集成资源。
假设每天有1500个计算任务、600个数据集成任务,且对不同类型任务有不同的运行时间段要求,则计算逻辑如下: 计算类任务所需保障业务量:1500个实例。往常运行时长:30分钟/实例。期望运行时间段:3:00~8:00,共5小时。计费 需要同时运行的实例数:(150030)/(560)=150(个)。 所需独享调度资源数量:58C16G(根据独享调度资源计费标准计算所得)。 年费用:59,100元(目录价)/年。数据集成类任务所需保障业务量:600个实例、2个并发线程/实例,共1200个线程。往常运行时长:30分钟/实例。期望运行时间段:00:30~3:00,共2.5小时。计费 需要同时运行的实例数:(60030)/(2.560)=120(个)。 所需独享调度资源数量:48C16G(根据独享调度资源计费标准计算所得)。 同时运行的线程数:(120030)/(2.560)=240(个)。 所需独享数据集成资源数量:4*32C64G(根据独享数据集成资源计费标准计算所得)。 因此,年总费用为47,280+189,120=236,400元/目录价。说明 上述结果是严格按照任务总量、期望完成时间来计算得出,建议您在实际计算时,根据实际业务量调整购买数量。可选商品:DataWorks增值版本(包年包月),您可以根据自身需求,选择标准版、专业版、企业版或旗舰版进行购买。
https://help.aliyun.com/document_detail/125776.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。