Hadoop节点冗余

简介: 【5月更文挑战第13天】

image.png
Hadoop中的HDFS(Hadoop Distributed FileSystem,Hadoop分布式文件系统)通过数据冗余存储来提供容错性和高可靠性。这种冗余存储是通过将数据分成固定大小的数据块,并将每个数据块的多个副本分散存储在不同的节点上来实现的。

具体来说,HDFS的默认冗余复制因子是3,这意味着每个数据块将被复制到集群中的3个不同的节点上。这种设计的原因主要有以下几点:

  1. 容错性:通过在多个节点上复制数据,HDFS可以容忍节点故障。如果某个节点发生故障,系统可以从其他节点获取同样的数据块进行恢复。
  2. 数据可靠性:通过多次复制数据,HDFS可以提供数据的可靠性。即使某些节点上的数据损坏或丢失,仍然可以从其他节点获取同样的数据块。
  3. 数据局部性:HDFS的设计目标之一是提高数据局部性。数据局部性指的是在计算过程中,尽可能将数据和计算任务放在同一个节点上,以减少网络传输的成本。通过将数据复制到多个节点,可以提高数据的局部性,从而减少数据的远程传输。

在HDFS中,数据的写入和读取过程都涉及到这些冗余的副本。例如,在写入数据时,客户端会首先向NameNode(HDFS的主节点)请求上传数据块的位置。NameNode会返回3个DataNode(HDFS的数据节点)的列表,然后客户端会通过这些DataNode将数据块写入并复制到这些节点上。

总的来说,Hadoop的节点冗余是HDFS实现容错性和高可靠性的关键机制之一。

目录
相关文章
|
3月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
95 4
|
3月前
|
大数据 网络安全 数据安全/隐私保护
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(二)
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(二)
172 5
|
3月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
209 5
|
3月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
69 3
|
3月前
|
XML 大数据 网络安全
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(一)
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(一)
82 4
|
3月前
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
183 4
|
3月前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
104 4
|
3月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
71 2
|
3月前
|
分布式计算 Java Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
81 1
|
3月前
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
58 1