启动 YARN 并运行 MR 程序|学习笔记

简介: 快速学习 启动 YARN 并运行 MR 程序

开发者学堂课程【Hadoop 快速入门:启动 YARN 并运行 MR 程序】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/92/detail/1411


启动 YARN 并运行 MR 程序


一、分析

(1)配置集群在 YARN 上运行 MR

(2)启动、测试集群增、题、查

(3)在 YARN 上执行 WordCount. 案例


二、执行步骤

(1)配置集群

(a)配置 yarn-env.sh

配置一下 JAVA_HOME

export  JAVA_HOME=/ opt/ module/ jdk1.8.0_144

(b)配置 yarn-site.xml

<!-- Reducer 获取数据的方式-->

<property>-

<name>yarn.nodemanager.aux.-services</ name>

<value>mapreduce.shuffle</value>

</property>

(c)配置: mapred-env.sh

配置一下 JAVA_IOME

Export  JAVA_HOME=/ opt/ module/jdk1.8.0_144

(d)配置:(对 mapred-site.xml.template 重新命名为) mapred-site.xml

[atguigu@hadoop101  hadoop]$  mv  mapred-site.xml .template mapred-site. xml

<!——指定 MR 运行在 YARN 上 -->

<property>

<name>mapreduce.framework.name</ name>

<value>yarn</value>

</property>

图片22.png

(2)启动集群

(a)启动前必须保证 NameNode_ 和  DataNode 已经启动

(b)启动 ResourceManager

[ atguiguhadoop101 hadoop-2.7.2]$  sbin/yarn-daemon.sh  start resourcemanager-

(c)启动 NodeManager

[atguiguhadoop101 hadoop-2.7.2]$  sbin/yaxn-daemon.sh  start nodemanager-

(3)集群操作

(a) YARN的浏览器页面查看,如图2-35所示,

http://hadoop101:8088/cluster

图片23.png

相关文章
|
分布式计算 资源调度 监控
Hadoop学习笔记(四)之YARN
Hadoop学习笔记(四)之YARN
|
10月前
|
资源调度 JavaScript Windows
yarn install命令运行报错:无法将“yarn”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。...
yarn install命令运行报错:无法将“yarn”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。...
761 1
yarn install命令运行报错:无法将“yarn”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。...
|
17天前
|
分布式计算 资源调度 Hadoop
在YARN集群上运行部署MapReduce分布式计算框架
主要介绍了如何在YARN集群上配置和运行MapReduce分布式计算框架,包括准备数据、运行MapReduce任务、查看任务日志,并启动HistoryServer服务以便于日志查看。
31 0
|
2月前
|
SQL 弹性计算 资源调度
云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行
云服务器ECS(Elastic Compute Service)是各大云服务商阿里云提供的一种基础云计算服务,它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。
|
4月前
|
资源调度 分布式计算 监控
剖析剖析我们的Yarn程序-Client提交
剖析剖析我们的Yarn程序-Client提交
38 0
|
10月前
|
缓存 资源调度 JavaScript
从零到一nvm、npm、cnpm、yarn、vue全套安装和环境配置以及创建新项目和如何运行人家的项目大全,最详细,保姆级
从零到一nvm、npm、cnpm、yarn、vue全套安装和环境配置以及创建新项目和如何运行人家的项目大全,最详细,保姆级
353 0
|
4月前
|
资源调度 分布式计算 Hadoop
Hadoop学习笔记(HDP)-Part.14 安装YARN+MR
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
198 0
Hadoop学习笔记(HDP)-Part.14 安装YARN+MR
|
10月前
|
存储 分布式计算 资源调度
提交MapReduce程序至YARN执行
提交MapReduce程序至YARN执行
90 0
|
资源调度
yarn 运行报错bug(后续更新)
yarn 运行报错bug(后续更新)
99 0
|
资源调度 JavaScript
Vue npm yarn webpack 遇到无法加载文件禁止运行脚本解决方案
Vue npm yarn webpack 遇到无法加载文件禁止运行脚本解决方案
134 0
Vue npm yarn webpack 遇到无法加载文件禁止运行脚本解决方案

相关实验场景

更多