AI 助理
备案控制台
开发者社区 大数据 文章 正文

大数据分布式架构单点故障详解(Hdfs+Yarn+HBase+Spark+Storm)构建HA高可用架构

2018-03-29 21576
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本文梳理了常见的hadoop生态圈中的组件：Hdfs+Yarn+HBase+Spark+Storm的单点故障问题，出现原因以及单点故障的原理和解决方案（构建HA（High Available）高可用架构）。阅读本文之前，最好了解清楚各组件的架构原理。

本文来源于公众号【胖滚猪学编程】，转载请注明出处。

本文整合梳理了主流大数据生态圈中的组件：Hdfs+Yarn+HBase+Spark+Storm的单点故障问题的解决方案：构建HA（High Available）高可用架构。阅读本文之前，最好需要了解清楚各组件的架构原理。

单点故障的出现原因

首先一张图来了解下这些组件的架构：_1

我们可以发现：它们的共同特点就是都是主从结构。HDFS中的NameNode,Yarn中ResourceManager,Hbase中HMaster,Spark中Master,Storm中Nimbus起着“老大”的角色，那么“老大”挂了怎么办呢？这可就麻烦了，只要老大挂了，等于整个集群的服务都用不了了，NameNode挂了整个集群的HDFS就用不了了，HBase的HMaster挂了整个集群的Hbase都用不了了，等等。这就是所谓的单点故障问题。单点指只有一个主节点。

单点故障的解决方案

既然只有一个主节点就会发生单点故障，那么我们很容易可以想到，我来两个不就行了！对的，HA的思想就是多弄几个主节点，一个死了另一个上。但这样也不够啊！必须有个东西能够使得发生故障的时候自动切换啊！这东西就是Zookeeper。所以有了下面这张图：_2

由于这些组件的HA原理类似，我们只以最难的HDFS的HA高可用架构原理为例讲解。而其他组件，不讲解原理，只上配置文件。

Zookeeper在HA架构中的作用

Zookeeper是一个开源的分布式协调服务，分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。
ZK在Hadoop生态圈中的主要功能有：

  • 选举功能，比如HDFS中Active NameNode的选举、YARN中Active ResourceManager的选举和HBase中Active HMaster的选举。
  • ZooKeeper具有在各个节点同步数据的功能，能保证高度的一致性，因此它能够保证在任何时候只有一个节点为Active。
  • ZooKeeper分布式协调/通知功能，可用于心跳检测，不同进程之间需要检测到彼此是否在正常运行，比如HDFS中NameNode需要知道DataNode是否正常。基本原理是创建一个临时znode，如果连接超时就删除这个节点，不同的进程直接可以根据这个临时子节点来判断对应的进程是否存活。

HDFS基于Zookeeper的HA高可用架构原理

HDFS预备知识：

namenode职责：
（1）负责客户端的请求和响应
（2）负责元数据的管理（查询，修改。。）
（3）维护元信息（fsimage文件），fsimage是磁盘元数据镜像文件，存储元数据信息。
（4）维护操作日志（edits文件），edits是数据操作日志文件，当客户端操作文件的时候，操作记录首先会被记录到edits日志文件中。
我们可以在$dfs.namenode.name.dir/current目录下看到如下的文件结构
image

出现HA之后，(3)和(4)交给了另一个叫做JournalNode的东东。JournalNode在HA故障转移中起到了重要的作用！

HDFA HA原理图解

_

  • 在两个NN（NameNode简写，下同）间选举出一个Active NN，Active NN会在ZK上创建临时节点Znode
  • 两个NN都会向ZK发送心跳检测信息，让ZK实时知道它们的状态。
  • 任何修改操作在 Active NN上执行时，JN进程同时也会记录修改log到至少半数以上的JN中，这时 Standby NN 监测到JN 里面的同步log发生变化了会读取 JN 里面的修改log，然后同步到自己的的目录镜像树里面。
  • Active NN挂了之后，连接超时，ZK收不到心跳信息了，就把对应的临时znode进行删除，znode的删除事件会主动触发到下一次的Active NamNode的选择。
  • 原来的StandbyNN准备要上位了，它会在成为Active NN 前，读取所有的JN里面的日志，这样就能高可靠的保证与挂掉的NN的目录镜像树一致，然后无缝的接替它的职责，维护来自客户端请求，从而达到一个高可用的目的。
    注：故障切换是通过ZKFC(FailOverController)完成。

HDFS的HA高可用架构配置

  • core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-2.6.0-cdh5.11.1/data/tmp</value>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>master</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>
</configuration>
  • hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.http.address</name>
        <value>0.0.0.0:50070</value>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-2.6.0-cdh5.11.1/data/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-2.6.0-cdh5.11.1/data/tmp/dfs/data</value>
    </property>
    <!-- service name,the same as core-site.xml-->
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    <!-- RPC address-->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>master:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>slave1:8020</value>
    </property>
    <!-- http address web service -->
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>master:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>slave1:50070</value>
    </property>
    <!--journalnode dir -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
    </property>
    <!--journalnode dir -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/usr/local/hadoop-2.6.0-cdh5.11.1/data/jn</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

搭建HDFS HA的步骤

（1）启动zookeeper集群（分别在slave1、slave2和slave3上执行）
zkServer.sh start
（2）格式化ZKFC（在master1上执行）
hdfs zkfc -formatZK
（3）启动journalnode（分别在slave1、slave2和slave3上执行）
sbin/hadoop-daemon.sh start journalnode
（4）格式化HDFS（在master1上执行）
hdfs namenode -format
（5）启动nn1
sbin/hadoop-daemon.sh start namenode
（6）第二个namenode机器同步元数据信息
bin/hdfs namenode -bootstrapStandby
（7）启动nn2
sbin/hadoop-daemon.sh start namenode
（6）启动所有datanode
sbin/hadoop-daemons.sh start datanode
（7）在master机器上先启动zkfc（自动故障转移） 它就变成active了 sbin/hadoop-daemon.sh start zkfc
（8）再在slave1机器上启动zkfc.它就变成standby了

测试自动故障转移

（1）启动服务
image

image

image

（2）kill命令杀死active nn的进程

image
（3）在web UI界面上会发现Standby自动变成了Active

Yarn的HA高可用架构

原理与HDFS的非常类似，也是通过Zookeeper心跳检测，自动切换，非常简单，就是配置一下配置文件。

<configuration>

    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>rs</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>slave1</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>

</configuration>

本文来源于公众号【胖滚猪学编程】，一个集颜值与才华于一身的女程序媛，欢迎关注。

HBase的HA高可用架构

Hbase其实是无单点故障的，你可以手动启动多个HMaster，比如在master机器上启动hbase(bin/start-hbase.sh)之后，可以到slave1机器上也启动master(bin/hbase-daemon.sh start master)，无需任何配置。但是手工启动这样有点麻烦，可以通过配置文件，使得每次启动hbase时候自动的帮你启动两个HMaster。
touch backup-masters在此文件上输入你要作为备份HMaster的机器主机名。

image
image

本文来源于公众号【胖滚猪学编程】，一个集颜值与才华于一身的女程序媛，欢迎关注。

Spark的HA高可用架构

Spark同样是用ZooKeeper来实现HA。ZooKeeper提供了一个Leader Election机制，由于ZK的高度一致性，可以保证虽有多个Master但是只有一个是Active的，当Active的Master出现故障时，另外的一个Standby Master会被选举出来。

配置方法

vim conf/spark-env.sh

注释掉原本的SPARK_MASTER_HOST，如果它存在，就会默认只以它为Master。
-Dspark.deploy.recoveryMode： 表明整个集群的恢复和维护都是Zookeeper.
-Dspark.deploy.zookeeper.url: 所有做HA机器，其中端口2181是默认端口。
-Dspark.deploy.zookeeper.dir： 指定Spark在Zookeeper注册的信息

#SPARK_MASTER_HOST=master
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181 -Dspark.deploy.zookeeper.dir=/spark"

需要将它分发给需要做备份Master的机器。

scp conf/spark-env.sh slave1:/usr/local/spark-2.2.0-bin-hadoop2.6.0-cdh5.11.1/conf/

启动方法

在一台机器上：sbin/start-all.sh

另一台机器上启动第二个Master：sbin/start-master.sh

image

image

image

image

测试故障转移：

image

image

本文来源于公众号【胖滚猪学编程】，转载请注明出处。

文章标签：
云数据库HBase版
微服务引擎
云原生大数据计算服务 MaxCompute
日志服务
大数据
机器学习/深度学习
Hbase
分布式数据库
分布式计算
流计算
负载均衡
资源调度
网络安全
Spark
关键词：
高可用架构
分布式构建
分布式架构
apache spark yarn
spark架构
公众号胖滚猪学编程
目录
相关文章
小白学大数据
|
3月前
|
数据采集 运维 监控
构建企业级Selenium爬虫：基于隧道代理的IP管理架构
构建企业级Selenium爬虫：基于隧道代理的IP管理架构
小白学大数据
187 0
聚客AI
|
3月前
|
人工智能 监控 测试技术
告别只会写提示词：构建生产级LLM系统的完整架构图​
本文系统梳理了从提示词到生产级LLM产品的八大核心能力：提示词工程、上下文工程、微调、RAG、智能体开发、部署、优化与可观测性，助你构建可落地、可迭代的AI产品体系。
聚客AI
578 51
Deephub
|
3月前
|
机器学习/深度学习 人工智能 搜索推荐
从零构建短视频推荐系统：双塔算法架构解析与代码实现
短视频推荐看似“读心”，实则依赖双塔推荐系统：用户塔与物品塔分别将行为与内容编码为向量，通过相似度匹配实现精准推送。本文解析其架构原理、技术实现与工程挑战，揭秘抖音等平台如何用AI抓住你的注意力。
Deephub
808 7
从零构建短视频推荐系统：双塔算法架构解析与代码实现
蒋星熠Jaxonic
|
3月前
|
消息中间件 缓存 监控
中间件架构设计与实践：构建高性能分布式系统的核心基石
摘要 本文系统探讨了中间件技术及其在分布式系统中的核心价值。作者首先定义了中间件作为连接系统组件的&quot;神经网络&quot;，强调其在数据传输、系统稳定性和扩展性中的关键作用。随后详细分类了中间件体系，包括通信中间件（如RabbitMQ/Kafka）、数据中间件（如Redis/MyCAT）等类型。文章重点剖析了消息中间件的实现机制，通过Spring Boot代码示例展示了消息生产者的完整实现，涵盖消息ID生成、持久化、批量发送及重试机制等关键技术点。最后，作者指出中间件架构设计对系统性能的决定性影响，
蒋星熠Jaxonic
178 1
翼龙云TG_yilongcloud
|
3月前
|
SQL 弹性计算 关系型数据库
如何用读写分离构建高效稳定的数据库架构？
在少写多读业务场景中，主实例读请求压力大，影响性能。通过创建只读实例并使用数据库代理实现读写分离，可有效降低主实例负载，提升系统性能与可用性。本文详解配置步骤，助你构建高效稳定的数据库架构。
翼龙云TG_yilongcloud
144 0
尹正杰
|
资源调度 分布式计算 Hadoop
YARN(Hadoop操作系统)的架构
本文详细解释了YARN（Hadoop操作系统）的架构，包括其主要组件如ResourceManager、NodeManager和ApplicationMaster的作用以及它们如何协同工作来管理Hadoop集群中的资源和调度作业。
尹正杰
720 3
YARN(Hadoop操作系统)的架构
尹正杰
|
资源调度 分布式计算 Hadoop
使用YARN命令管理Hadoop作业
本文介绍了如何使用YARN命令来管理Hadoop作业，包括查看作业列表、检查作业状态、杀死作业、获取作业日志以及检查节点和队列状态等操作。
尹正杰
474 1
使用YARN命令管理Hadoop作业
土木林森
|
资源调度 分布式计算 算法
【揭秘Yarn调度秘籍】打破资源分配的枷锁，Hadoop Yarn权重调度全攻略！
【8月更文挑战第24天】在大数据处理领域，Hadoop Yarn 是一种关键的作业调度与集群资源管理工具。它支持多种调度器以适应不同需求，默认采用FIFO调度器，但可通过引入基于权重的调度算法来提高资源利用率。该算法根据作业或用户的权重值决定资源分配比例，权重高的可获得更多计算资源，特别适合多用户共享环境。管理员需在Yarn配置文件中启用特定调度器（如CapacityScheduler），并通过设置队列权重来实现资源的动态调整。合理配置权重有助于避免资源浪费，确保集群高效运行，满足不同用户需求。
土木林森
275 3
kng32f3vbngrm
|
资源调度 分布式计算 Hadoop
Hadoop Yarn 核心调优参数
这是一个关于测试集群环境的配置说明，包括3台服务器（master, slave1, slave2）运行CentOS 7.5，每台有4核CPU和4GB内存。集群使用Hadoop 3.1.3，JDK1.8。Yarn核心配置涉及调度器选择、ResourceManager线程数、节点检测、逻辑处理器使用、核心转换乘数、NodeManager内存和CPU设置，以及容器的内存和CPU限制。配置完成后，需要重启Hadoop并检查yarn配置。
kng32f3vbngrm
460 4
kng32f3vbngrm
|
SQL 分布式计算 资源调度
Hadoop Yarn 配置多队列的容量调度器
配置Hadoop多队列容量调度器，编辑`capacity-scheduler.xml`，新增`hive`队列，`default`队列占总内存40%，最大60%；`hive`队列占60%，最大80%。配置包括队列容量、用户权限和应用生存时间等，配置后使用`yarn rmadmin -refreshQueues`刷新队列，无需重启集群。多队列配置可在Yarn WEB界面查看。
kng32f3vbngrm
347 4

热门文章

最新文章

  • 1
    基于 Spring AI Alibaba + Nacos 的分布式 Multi-Agent 构建指南
  • 2
    《深入理解Spring》Spring Cloud 构建分布式系统的微服务全家桶
  • 3
    大模型分布式推理：张量并行与流水线并行技术
  • 4
    《聊聊分布式》分布式系统基石：深入理解CAP理论及其工程实践
  • 5
    《聊聊分布式》分布式系统核心概念
  • 6
    《聊聊分布式》BASE理论 分布式系统可用性与一致性的工程平衡艺术
  • 7
    《聊聊分布式》ZooKeeper与ZAB协议：分布式协调的核心引擎
  • 8
    深度长文！详解阿里云磐久AL128超节点服务器及互连架构
  • 9
    万字长文深度解析最新Deep Research技术：前沿架构、核心技术与未来展望
  • 10
    阿里云服务器X86架构讲解：性能优势、适用场景、价格解读与参考
  • 1
    Spark3.3.0源码编译补充篇-抓狂的证书问题
    138
  • 2
    Spark性能优化之SparkUI
    411
  • 3
    利用SparkLauncher实现Spark Cluster模式下的远端交互
    380
  • 4
    Spark3.x的Cache能不能让我在2022好好睡觉
    124
  • 5
    Spark 3.0 中的屏障执行模式_Spark的MPI时代来了
    146
  • 6
    Spark性能优化指南—思路梳理
    573
  • 7
    肝Spark源码的若干骚操作
    129
  • 8
    Spark的几种去重的原理分析
    422
  • 9
    Spark开发实用技巧-从入门到爱不释手
    159
  • 10
    Spark 编译出现 InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty
    481

    • 相关课程

    更多
  • Serverless 函数计算架构
  • 架构的演进
  • MySQL企业常见架构与调优经验分享
  • 企业Web常用架构LAMP-LNMP实战
  • 企业级互联网分布式系统应用架构学习
  • 高校精品课-上海交通大学 -企业级应用体系架构

    • 相关电子书

    更多
  • 云栖大会：开源 PolarDB 架构演进、关键技术与社区建设
  • 从技术到架构，云原生全面加速应用现代化
  • MaxCompute架构升级及开放性解读
    • 下一篇
    「直播预告」Streaming Lakehouse Meetup EP.2｜Paimon × StarRocks 共话实时湖仓