开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks创建EMR Hive节点前提条件是什么?

DataWorks创建EMR Hive节点前提条件是什么?

展开
收起
真的很搞笑 2023-09-10 14:06:57 46 0
1 条回答
写回答
取消 提交回答
  • 您已创建阿里云EMR集群,且集群所在的安全组中入方向的安全策略包含以下策略。授权策略:允许协议类型:自定义 TCP端口范围:8898/8898授权对象:100.104.0.0/16您在工作空间配置页面添加E-MapReduce计算引擎实例后,当前页面才会显示EMR目录。详情请参见配置工作空间。如果EMR启用了Ranger,则使用DataWorks进行EMR的作业开发前,您需要在EMR中修改配置,添加白名单配置并重启Hive,否则作业运行时会报错Cannot modify spark.yarn.queue at runtime或Cannot modify SKYNET_BIZDATE at runtime。白名单的配置通过EMR的自定义参数,添加Key和Value进行配置,以Hive组件的配置为例,配置值如下。 hive.security.authorization.sqlstd.confwhitelist.append=tez.|spark.|mapred.|mapreduce.|ALISA.|SKYNET.说明 其中ALISA.
    SKYNET.
    为DataWorks专有的配置。白名单配置完成后需要重启服务,重启后配置才会生效。重启服务的操作详情请参见重启服务。已开通独享调度资源组,并且独享调度资源组需要绑定EMR所在的VPC专有网络,详情请参见新增和使用独享调度资源组。说明 仅支持使用独享调度资源组运行该类型任务。
    https://help.aliyun.com/document_detail/137518.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-10 19:48:11
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    spark替代HIVE实现ETL作业 立即下载
    EMR弹性低成本离线大数据分析最佳实践 立即下载
    2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载