一键扩容E-MapReduce集群,运维SO EASY

本文涉及的产品
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 一键扩容E-MapReduce集群,运维SO EASY 谈到集群运维,我们不得不说说集群的扩容。随着业务量的增长,数据也会跟着增长,这样我们的集群规模也不得不跟着进行扩容。那么集群如何进行扩容呢,我们分下面的两个场景跟大家介绍一下 1. IDC机房集群扩容。当我们集群需要扩容的时候,一般会经过下

一键扩容E-MapReduce集群,运维SO EASY

谈到集群运维,我们不得不说说集群的扩容。随着业务量的增长,数据也会跟着增长,这样我们的集群规模也不得不跟着进行扩容。那么集群如何进行扩容呢,我们分下面的两个场景跟大家介绍一下

1. IDC机房集群扩容。当我们集群需要扩容的时候,一般会经过下面的步骤来进行。首先,你得需要订购机器,跟哪个代理商联系呢,跟哪个厂家联系呢,或者都联系一遍再做比较,这样会花费比较多的精力在机器订购上。当机器订购好了,那你就等着吧,等他们将机器送到机房。倘若机器断货的话,就会需要多等些日子。当机器发到机房以后,你还需要登录到每一台机器上进行环境的配置,包括操作系统的安装,集群软件的配置等等,这样一来又花费了不少的精力。假设最终我们成功地将集群进行了扩容,我们来看一看从提扩容需求到集群扩容就位,花费了多少时间。少说也要几天,长则需要十几天吧。这里面的时间成本,人力成本可想而知。可能在你的脑海里早已经有千万只它在奔腾。


2. E-MapReduce集群扩容。使用E-MapReduce集群,运维起来就方便多了。假如每隔一个月,我的集群规模就要扩容2台机器。那就一键扩容嘛,反正SO EASY。不再需要考虑一下子买多少台机器,每次2台还是10台都是一样的便宜,按需要的量购买就好了,不需要先付出较大的成本让机器闲置。而且E-MapReduce一键扩容是几分钟之后就可以提供好服务哦,比那个坑爹的几天、十几天时间可要强太多了。下面具体介绍一下如何一键扩容E-MapReduce集群。

首先,你必须得是E-MapReduce用户才行,并且创建了E-MapReduce集群,那么你可以看到这样的界面


看到`调整规模`按钮了吗,对,只要点击这个按钮来进行扩容就可以了。当然,你也可以从另外一个入口进来调整集群规模,点击集群详情,然后看到`调整集群规模`按钮。


无论通过哪个入口进来,点击`调整集群规模`之后我们会看到这样的界面。

集群的的组成包括master和core两类节点,master节点数量是1,不可进行扩容;core节点数量是1可以进行扩容。


目前集群的规模为2,倘若我们想对集群进行扩容,扩容后的集群规模为4,则需要设置core节点数量为3,然后点击确定进行扩容。


扩容过程中,集群的详情是这样的,扩容节点的状态会明确展示为`扩容中`


等几分钟之后,我们会看到集群的详情里面,机器的状态都变成`正常`状态,这个时候表示集群已经完全扩容好了。


至此,E-MapReduce集群的扩容完成了。还有什么可说的呢,SO EASY。

 

最后只剩一句了。在用E-MapReduce集群的小伙伴们,快来尝尝鲜,扩容你的集群吧。那没在使用E-MapReduce的小伙伴们呢,还在IDC机房使用你们的集群吗,只想劝您一句,快来使用E-MapReduce集群吧:)

相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
相关文章
|
6月前
|
SQL 分布式计算 关系型数据库
阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
本文以云厂商售后技术支持的角度,从客户的需求出发,对于阿里云EMR-Trino集群的选型,外连多引擎的场景、Ldap以及Kerberos鉴权等问题进行了简要的实践和记录,模拟客户已有的业务场景,满足客户需求的同时对过程中的问题点进行解决、记录和分析,包括但不限于Mysql、ODPS、Hive connector的配置,Hive、Delta及Hudi等不同表格式读取的兼容,aws s3、阿里云 oss协议访问异常的解决等。
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
81 3
|
1月前
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
30 1
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
44 1
|
21天前
|
存储 运维 监控
实时计算Flink版在稳定性、性能、开发运维、安全能力等等跟其他引擎及自建Flink集群比较。
实时计算Flink版在稳定性、性能、开发运维和安全能力等方面表现出色。其自研的高性能状态存储引擎GeminiStateBackend显著提升了作业稳定性,状态管理优化使性能提升40%以上。核心性能较开源Flink提升2-3倍,资源利用率提高100%。提供一站式开发管理、自动化运维和丰富的监控告警功能,支持多语言开发和智能调优。安全方面,具备访问控制、高可用保障和全链路容错能力,确保企业级应用的安全与稳定。
31 0
|
30天前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
78 0
|
30天前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
34 0
|
30天前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
44 0
|
3月前
|
运维 Oracle 前端开发
Oracle 11g RAC集群日常运维命令总结
Oracle 11g RAC集群日常运维命令总结
81 2
|
2月前
|
分布式计算 资源调度 Hadoop
在YARN集群上运行部署MapReduce分布式计算框架
主要介绍了如何在YARN集群上配置和运行MapReduce分布式计算框架,包括准备数据、运行MapReduce任务、查看任务日志,并启动HistoryServer服务以便于日志查看。
57 0