EMR 集群节点类型主要分以下四种:
1.Master 节点:Master 节点部署了 HDFS Name Node 和 YARN ResourceManager。此外,相应的 HDFS、YARN、Hive、HBase 等组件均已实现了 HA 机制。
2.Core 节点:Core 节点主要部署 YARN NodeManager 和 DataNode。Core节点不支持弹性伸缩。
3.Task 节点:用户可以使用 Task 进行弹性伸缩或者使用竞价实例的购买方式。如果用户有深度学习需求,可以通过 YARN 调度 GPU 资源,同时也可以在 Task 节点选择购买 GPU 实例。
4.Gateway 节点:Gateway 节点部署 Haddop、Spark、Flink 等组件的客户端,支持部署不同部门采用不同的参数和配置。因为用户可能会在不同客户端采用不同配置,从而实现用户隔离,用户可以购买 Gateway 节点实现资源配置上的隔离,同时减轻 Master 节点上的工作压力。
以上内容摘自《大数据工程师必读手册》电子书,点击https://developer.aliyun.com/topic/download?id=29可下载完整版
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。