E-MapReduce上如何升级EMR-Core

本文涉及的产品
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 本文档将介绍如何将老集群的EMR-Core升级到最新版本 什么是EMR-Core EMR-Core是E-MapReduce集群上支持Hadoop生态组件读写OSS的依赖包。它提供一种高效地读写OSS数据的实现,并不断地在优化中。

本文档将介绍如何将老集群的EMR-Core升级到最新版本

什么是EMR-Core

EMR-Core是E-MapReduce集群上支持Hadoop生态组件读写OSS的依赖包。它提供一种高效地读写OSS数据的实现,并不断地在优化。所以,随着E-MapReduce版本的迭代,我们就有必要升级老集群上的EMR-Core以获得更好的性能,当然也包括修复很多BUG。

使用说明

升级工具下载地址

注意:

    1. 本工具暂时只支持EMR-3.x系列,即支持EMR-3.0.0以上版本升级到最新EMR-Core。EMR-2.x系列的工具近期也会上线。
    1. 本工具在升级过程中需要重启相关服务,切记判断服务重启风险,选在升级窗口停服进行升级。需要重启的服务包括Yarn和Hive。
1. SSH 登录到集群emr-header-1节点
2. 切换到hadoop账户下:su hadoop; cd
3. 下载升级工具包:wget http://emr-agent-pack.oss-cn-hangzhou.aliyuncs.com/upgrade/upgrade.tgz
4. 解压: tar zxvf upgrade.tgz
5. 开始升级,由于EMR集群分为HA和非HA集群两种,所以在执行脚本时需要传入集群类型参数,接受“ha”和“normal”两个参数,例如./upgrade.sh normal
6. 等待脚本执行完,检查相关服务是否正常,包括YARN和Hive服务
相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
目录
相关文章
|
4月前
|
存储 缓存 Cloud Native
阿里云EMR数据湖文件系统问题之JindoFS架构升级后的问题如何解决
阿里云EMR数据湖文件系统问题之JindoFS架构升级后的问题如何解决
|
6月前
|
分布式计算 数据挖掘
通过mapreduce程序统计旅游订单(wordcount升级版)
通过mapreduce程序统计旅游订单(wordcount升级版)
|
存储 人工智能 运维
阿里云开源大数据平台升级EMR2.0发布 性能最高可提升6倍
阿里云EMR2.0为用户提供了全新的平台、开发、资源形态、分析场景等更优的产品体验,通过EMR Doctor健康检查、全面的服务巡检和事件通知、节点故障补偿等运维能力的升级,预估运维成本可降低20%-30%。新平台致力于为客户快速构建高性价比、安全可靠、兼容生态的开源大数据平台。
阿里云开源大数据平台升级EMR2.0发布  性能最高可提升6倍
|
存储 运维 分布式计算
阿里云开源大数据平台EMR全面升级 性能最高可提升6倍
12月27日,阿里云正式发布云原生开源大数据平台EMR 2.0,升级后的开源大数据平台在成本持平的情况下,扩缩容性能最高可提升6倍。
745 0
阿里云开源大数据平台EMR全面升级 性能最高可提升6倍
|
SQL 弹性计算 分布式计算
E-MapReduce(简称“EMR”)
E-MapReduce(简称“EMR”)是云原生开源大数据平台,向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等开源大数据计算和存储引擎。EMR计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK、专有云平台。
747 0
|
分布式计算 Hadoop
EMR 升级Hadoop 2.8.5
信息摘要: EMR 提供Hadoop 2.8.5,方便开发者使用新版Hadoop功能。适用客户: 所有客户版本/规格功能: EMR-3.18.0及以后版本,Hadoop升级为2.8.5,开发者可以方便地使用新版Hadoop的功能。
|
弹性计算 分布式计算 安全
使用资源编排服务(ROS)轻松玩转E-MapReduce(EMR)
前言 如果您还没有听说过资源编排服务(ROS),那么恭喜您,本文将带您走进一个新的世界,学习资源管理的新姿势。 当您在使用E-MapReduce(EMR)时,是否想过使用OpenAPI或者是SDK来创建实例?是否为太多的参数感到困扰,为不一样的参数名称形态看到困惑?尤其是要通过代码管理整个实例的生命周期感到烦恼? 但您本不该为此烦恼,不是吗? 其实您只是想创建若干个资源,您不想关心应该调用
1254 0
|
分布式计算 Hadoop Apache
Alibaba Cloud E-MapReduce vs AWS EMR vs. Azure HDInsight
Big Data is among the biggest IT trends of the last five years. Maintaining a sufficiently large infrastructure for analytics is a major challenge for Big Data.
3371 0
|
4月前
|
分布式计算 大数据 MaxCompute
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
|
4月前
|
分布式计算 测试技术 调度
EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决
EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决