DataWorks中Hive Reader设置yarn队列是什么?
在DataWorks中设置Hive Reader的Yarn队列,是为了将数据源的读取操作提交到Yarn资源管理器中的特定队列中。这样可以根据不同队列的资源分配规则来控制数据读取任务的资源使用,以确保任务在指定队列中的性能和资源保障。
具体来说,设置Hive Reader的Yarn队列需要进行以下步骤:
登录DataWorks控制台,选择要设置队列的数据源。 在数据源的“高级参数”选项卡中,找到“yarn queue”参数,并点击“编辑”。 在弹出的“编辑参数”对话框中,选择要使用的Yarn队列名称,并点击“确定”。 保存设置并提交数据源的更改。 设置完Hive Reader的Yarn队列后,数据源的读取任务将会被提交到所选的Yarn队列中,并根据该队列的资源分配规则来分配任务所使用的资源。
需要注意的是,设置Yarn队列时需要确保所选队列存在,并且DataWorks所在的集群已经正确配置了Yarn资源管理器。此外,根据不同的情况,可能需要针对不同的数据源和任务设置不同的队列,以实现资源分配和性能保障的最优化。
【Hive Reader设置yarn队列】 数据源高级参数中加上这个配置项: 1.mapred.job.queue.name 2.mapreduce.job.queuename 注意:以上参数二选一,根据对应版本的选择参数,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。