Hadoop-HDFS的DataNode工作机制

简介: Hadoop-HDFS的DataNode工作机制

image.png

DataNode工作机制

1、DataNode启动向NameNode注册。即上报自己数据块的基本信息。(DataNode磁盘上存储两种文件,一个时数据块,一个时元数据,包括:块数据校验、块数据长度,以及时间戳。)
2、NameNode保存DataNode的元数据,并返回告诉DataNode注册成功。
3、以后每周期(1小时)上报一次元数据;保证数据块的健康与冗余。
4、DataNode每3秒向NameNode上报一次心跳,并返回NameNode给DataNode的指令。
5、超过10分钟没有收到DataNode的心跳,则认为该节点不可用;不会向节点传输任何数据或发出任何指令。

相关文章
CDH5.6下线Hdfs的DataNode
CDH5.6下线Hdfs的DataNode
190 0
|
分布式计算 资源调度 Hadoop
Hadoop: 启动后发现没有DataNode
Hadoop: 启动后发现没有DataNode
638 0
Hadoop: 启动后发现没有DataNode
|
28天前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
65 5
|
28天前
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
33 4
|
3月前
|
存储 分布式计算 Hadoop
Hadoop 中 NameNode 和 DataNode 的角色
【8月更文挑战第12天】
255 4
|
4月前
|
存储 分布式计算 Hadoop
Hadoop中DataNode故障
【7月更文挑战第11天】
183 1
|
5月前
|
存储 分布式计算 监控
Hadoop集群添加新的DataNode
【6月更文挑战第19天】
180 1
|
6月前
|
存储 分布式计算 Hadoop
Hadoop节点数据节点(DataNode)
【5月更文挑战第17天】
566 2
|
6月前
|
存储 分布式计算 Hadoop
NameNode和DataNode在HDFS中的作用是什么?
NameNode和DataNode在HDFS中的作用是什么?
375 0
|
6月前
|
存储 分布式计算 Hadoop
HDFS中的NameNode和DataNode的作用是什么?它们之间的通信方式是什么?
HDFS中的NameNode和DataNode的作用是什么?它们之间的通信方式是什么?
650 0

相关实验场景

更多