开发者学堂课程【Hadoop 分布式文件系统 HDFS:HDFS 读数据流程】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/93/detail/1455
HDFS 读数据流程
内容介绍:
一、HDFS 读数据流程
一、HDFS 读数据流程
HDFS 的读数据流程,如图3-13所示。
右侧是个集群,三个 DataNode 和一个 NameNode,NameNode 中所存的是元数据,两块的三个副本。
左侧是客户端,它读取集群下的元数据,在此之前,它会先创建一个fs对象操作集群来访问数据。
然后返回目标文件的元数据,安排 avi 去读取节点,命令之后它回创建相应的输入流,(因为右侧 DataNode 中是元数据)读取数据还是依照上节讲的最近原则。
读取完后,它再将其拼接在一起,形成真真的数据流。
1. 请求下载文件/user/atguigu/ss.avi
2. 返回目标文件的元数据
3. 请求读数据blk_1
4. 传输数据
5. 请求读数据blk_2
6. 传输数据