阿里云E-MapReduce 扩容集群和释放集群

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介:

扩容集群:

当您的集群资源(计算资源、存储资源)不足的时候,您可以将您的集群进行水平扩展。目前只能扩展您的 Core 节点,且使用的配置默认与您之前购买的 ECS 配置一致。

扩容入口

在集群列表页上,找到需要扩展的集群条目,单击调整规模按钮就会进入集群扩容页面。也可以单击查看详情,然后在详情页的 Core 节点信息位置单击调整集群规模。

扩容界面

如下图所示:

screenshot

注意:目前,只支持扩容,不支持缩容。

当前 Master 节点数量:不可以调整,当前默认值是 1 个。

当前 Core 台数:默认显示的是您当前的所有 Core 节点数量。

增加 Core 台数: 输入您实际需要增加的量,右侧会显示扩容后的集群总费用,然后单击确定就会进行扩容。安全起见,强烈推荐您在扩容的时候小批量的进行,比如 1 到 2 台,不要一次扩容太大的数量。

扩容状态

如下图所示:

screenshot

您可以在详情页的 Core 节点信息上看到集群的扩容情况,正在扩容的节点,其状态会显示为“扩容中”。当这台 ECS 的状态转为“正常”后,该 ECS 即已经加入该集群,并可正常提供服务了。

释放集群:

在集群列表页面,您可以单击集群条目右侧的释放按钮对集群进行释放操作。只有以下状态的集群可以被释放。

创建中

运行中

空闲中

普通释放

释放前会提示您再次确认,一旦确认释放,会发生以下的操作:

1.所有在集群上的作业都会被强制终止。

2.如果您选择了保存日志到 OSS,那么当前作业的日志会被保存到 OSS,所需时间取决于日志大小。日志的上传和作业的运行是并行的,作业生成日志的同时,就会进行日志的上传。所以最终作业停止时,需要上传的日志一般不会特别多,正常在几分钟内都会完成。

3.终止并释放所有的ECS。这个过程取决于集群的大小,越小的集群会越快,正常都在几秒内完成,至多不会超过5分钟。最迟释放的ECS在等待释放时仍然计费。

如果您想要省钱而控制在整点前释放,请务必留出一定的释放时间保证确实在整点前释放
4.释放集群结束。

强制释放

如果您不需要任何日志,只是想快速结束集群的运行,那么可以开启强制释放。释放过程就会跳过日志收集(如果有打开日志收集的话),直接进入ECS释放阶段。

释放失败的集群

由于系统错误等原因,集群有可能会在确认释放后,释放失败。您单击释放是一个异步的过程,可能等一会儿会发生集群释放失败的情况,但是不用担心,E-MapReduce 会启动后台保护,自动重试释放该集群,直到集群被成功释放为止。

相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
相关文章
|
8月前
|
SQL 分布式计算 关系型数据库
阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
本文以云厂商售后技术支持的角度,从客户的需求出发,对于阿里云EMR-Trino集群的选型,外连多引擎的场景、Ldap以及Kerberos鉴权等问题进行了简要的实践和记录,模拟客户已有的业务场景,满足客户需求的同时对过程中的问题点进行解决、记录和分析,包括但不限于Mysql、ODPS、Hive connector的配置,Hive、Delta及Hudi等不同表格式读取的兼容,aws s3、阿里云 oss协议访问异常的解决等。
|
3月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
129 3
|
3月前
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
60 1
|
3月前
|
分布式计算 资源调度 Hadoop
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
67 1
|
3月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
125 0
|
3月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
58 0
|
3月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
73 0
|
4月前
|
分布式计算 资源调度 Hadoop
在YARN集群上运行部署MapReduce分布式计算框架
主要介绍了如何在YARN集群上配置和运行MapReduce分布式计算框架,包括准备数据、运行MapReduce任务、查看任务日志,并启动HistoryServer服务以便于日志查看。
83 0
|
8月前
|
分布式计算 Hadoop Java
【集群模式】执行MapReduce程序-wordcount
【集群模式】执行MapReduce程序-wordcount
|
8月前
|
分布式计算 Java Hadoop
IDEA 打包MapReduce程序到集群运行的两种方式以及XShell和Xftp过期的解决
IDEA 打包MapReduce程序到集群运行的两种方式以及XShell和Xftp过期的解决