记录ALiYun EMR常用服务的手动启动和停止命令(hdfs/yarn/mr-jobhistory/zk/spark-history)

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 记录ALiYun EMR常用服务的手动启动和停止命令(hdfs/yarn/mr-jobhistory/zk/spark-history)

说明:在ssh,用root用户登录到header(master)机器上,手工执行以下命令进行业务调试。

常用命令:

1. env  (忘记是大写ENV,还是小写env,来查看环境变量)

2. cat /etc/hosts (查看EMR集群机器的hostname ip配置)

3. 在header机器上,切换到hadoop用户后,可以 ssh@emr-worker-1 直接登录到worker-1机器上,因为集群的机器,hadoop用户已经配置互相信任关系。


启动:

###start zk
su hadoop  -c "/usr/lib/zookeeper-current/bin/zkServer.sh start"
for i in `seq 1 2`;
do
 su hadoop -c "ssh emr-worker-${i} /usr/lib/zookeeper-current/bin/zkServer.sh start";
done

###start hdfs
su hdfs  -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh start namenode"
su hdfs  -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh start secondarynamenode"
for i in `seq 1 2`;
do
 su hdfs  -c  "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/hadoop-daemon.sh start datanode";
done

###start yarn
su hadoop  -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh start resourcemanager"
for i in `seq 1 2`;
do
 su hadoop -c "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/yarn-daemon.sh start nodemanager";
done

su hadoop  -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh start proxyserver"

###start mapreduce historyserver
su hadoop  -c "/usr/lib/hadoop-current/sbin/mr-jobhistory-daemon.sh start historyserver"


停止:
###stop spark
su hadoop  -c "/usr/lib/spark-current/sbin/stop-history-server.sh"

###stop mapreduce historyserver
su hadoop  -c "/usr/lib/hadoop-current/sbin/mr-jobhistory-daemon.sh stop historyserver"

###stop yarn
su hadoop  -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh stop proxyserver"

for i in `seq 1 2`;
do
 su hadoop -c "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/yarn-daemon.sh stop nodemanager";
done
su hadoop  -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh stop resourcemanager"

###stop hdfs
for i in `seq 1 2`;
do
 su hdfs  -c  "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop datanode";
done
su hdfs  -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop secondarynamenode"
su hdfs  -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop namenode"

###stop zk
su hadoop  -c "/usr/lib/zookeeper-current/bin/zkServer.sh stop"
for i in `seq 1 2`;
do
 su hadoop -c "ssh emr-worker-${i} /usr/lib/zookeeper-current/bin/zkServer.sh stop";
done


相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
相关文章
|
1月前
|
分布式计算 资源调度 大数据
【决战大数据之巅】:Spark Standalone VS YARN —— 揭秘两大部署模式的恩怨情仇与终极对决!
【8月更文挑战第7天】随着大数据需求的增长,Apache Spark 成为关键框架。本文对比了常见的 Spark Standalone 与 YARN 部署模式。Standalone 作为自带的轻量级集群管理服务,易于设置,适用于小规模或独立部署;而 YARN 作为 Hadoop 的资源管理系统,支持资源的统一管理和调度,更适合大规模生产环境及多框架集成。我们将通过示例代码展示如何在这两种模式下运行 Spark 应用程序。
139 3
|
2月前
|
分布式计算 运维 Serverless
EMR Serverless Spark服务和EMR Serverless StarRocks服务的比较
**EMR Serverless Spark** 以其出色的稳定性、高效性能、减轻运维负担及成本优化著称,适合大规模数据处理。**EMR Serverless StarRocks** 则以高速查询、存算分离架构和灵活扩缩容见长,侧重企业级功能。两者在不同应用场景中有各自优势,选择应基于具体需求。更多详情,参考阿里云官方资源。
|
2月前
|
存储 分布式计算 Serverless
|
3月前
|
分布式计算 运维 Serverless
EMR Serverless Spark PySpark流任务体验报告
阿里云EMR Serverless Spark是一款全托管的云原生大数据计算服务,旨在简化数据处理流程,降低运维成本。测评者通过EMR Serverless Spark提交PySpark流任务,体验了从环境准备、集群创建、网络连接到任务管理的全过程。通过这次测评,可以看出阿里云EMR Serverless Spark适合有一定技术基础的企业,尤其是需要高效处理大规模数据的场景,但新用户需要投入时间和精力学习和适应。
7166 43
EMR Serverless Spark PySpark流任务体验报告
|
1月前
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
|
2月前
|
弹性计算 分布式计算 Serverless
全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
【7月更文挑战第6天】全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
23681 42
|
2月前
|
分布式计算 Java Serverless
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
本文以 ECS 连接 EMR Serverless Spark 为例,介绍如何通过 EMR Serverless spark-submit 命令行工具进行 Spark 任务开发。
365 7
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
|
19天前
|
存储 资源调度 分布式计算
什么是HDFS和YARN?
【8月更文挑战第31天】
21 0
|
22天前
|
存储 分布式计算 资源调度
Hadoop生态系统概览:从HDFS到Spark
【8月更文第28天】Hadoop是一个开源软件框架,用于分布式存储和处理大规模数据集。它由多个组件构成,旨在提供高可靠性、高可扩展性和成本效益的数据处理解决方案。本文将介绍Hadoop的核心组件,包括HDFS、MapReduce、YARN,并探讨它们如何与现代大数据处理工具如Spark集成。
48 0
|
2月前
|
SQL 弹性计算 资源调度
云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行
云服务器ECS(Elastic Compute Service)是各大云服务商阿里云提供的一种基础云计算服务,它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。