AI 助理
备案控制台
开发者社区 大数据 文章 正文

Hadoop学习笔记（HDP）-Part.12 安装HDFS

2023-12-06 192
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
云原生网关 MSE Higress，422元/月
注册配置 MSE Nacos/ZooKeeper，118元/月
简介： 01 关于HDP02 核心组件原理03 资源规划04 基础环境配置05 Yum源配置06 安装OracleJDK07 安装MySQL08 部署Ambari集群09 安装OpenLDAP10 创建集群11 安装Kerberos12 安装HDFS13 安装Ranger14 安装YARN+MR15 安装HIVE16 安装HBase17 安装Spark218 安装Flink19 安装Kafka20 安装Flume

目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume

十二、安装HDFS

1.安装libtirpc-devel

HDFS依赖libtirpc-devel，因此需要先安装libtirpc-devel。
创建yml文件，/root/ansible/libtirpc.yml

---
- hosts: all
  vars:
    var_package:
      - libtirpc-devel-0.2.4-0.16.el7.x86_64.rpm
  tasks:
    - name: copy install files
      copy:
        src: "/opt/{
   { item }}"
        dest: /root/
      loop: "{
   { var_package }}"
    - name: install package
      shell:
        cmd: "yum localinstall -y /root/{
   { item }}"
      loop: "{
   { var_package }}"
    - name: delete install files
      file:
        path: "/root/{
   { item  }}"
        state: absent
      loop: "{
   { var_package }}"

执行

ansible-playbook /root/ansible/libtirpc.yml

2.安装服务

在Serivces->Add Service中添加HDFS服务
image.png
image.png
image.png
image.png
image.png
image.png
image.png

3.namenode HA

(1)启用HA

在ACTIONS->Enable NameNode HA中配置
image.png
image.png
image.png

修改JournalNode的路径为/data01/hadoop/hdfs/journal
image.png
image.png

按照提示在hdp01上创建checkpoint

sudo su hdfs -l -c 'hdfs dfsadmin -safemode enter'
sudo su hdfs -l -c 'hdfs dfsadmin -saveNamespace'

image.png
image.png
image.png

按照提示在hdp01上对JournalNode进行初始化

sudo su hdfs -l -c 'hdfs namenode -initializeSharedEdits'

image.png
image.png
image.png

按照提示在hdp01上初始化元数据

sudo su hdfs -l -c 'hdfs zkfc -formatZK'

image.png

按照提示在hdp02上初始化元数据

sudo su hdfs -l -c 'hdfs namenode -bootstrapStandby'

image.png
image.png

(2)确认配置文件

/etc/hadoop/conf/core-site.xml，是NameNode的核心配置文件，主要对NameNode的属性进行设置，也仅仅在NameNode节点生效。
nn和2nn时，fs.defaultFS为hdfs://hdp01.hdp.com:8020
image.png

改为nn HA后，fs.defaultFS为hdfs://hdp315，以高可用集群出现
image.png

参数 含义 配置值
fs.defaultFS 指定访问HDFS文件系统的URI，在HA集群中，此值必须和hdfs-site.xml中的dfs.nameservices配置值一致 hdfs://hdp315
ha.zookeeper.quorum ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点 hdp01.hdp.com:2181,hdp02.hdp.com:2181,hdp03.hdp.com:2181
fs.trash.interval 定义.trash目录下文件被永久删除前保留的时间。在文件从HDFS永久删除前，用户可以自由地把文件从该目录下移出来并立即还原。默认值0，说明垃圾回收站功能是关闭的，一般开启这个会比较好，以防错误删除重要文件，单位是分钟 360

4.取消kerberos对页面的认证

正常情况下，kerberos对web页面也会进行认证，可取消掉；如果是对安全较高的场景下，需要在windows电脑上安装kerberos客户端，来实现身份认证，进而登录到web中。
如果未取消认证，会出现如下的界面
image.png

取消kerberos认证的配置
HDFS中CONFIGS->ADVANCED中，
Advanced core-site
hadoop.http.authentication.simple.anonymous.allowed：true
Custom core-site
hadoop.http.authentication.type：simple
重启hdfs服务后，namenode页面可以正常打开
image.png

5.确认HDFS配置

(1)hdfs-site.xml文件

/etc/hadoop/conf/hdfs-site.xml，是HDFS的核心配置文件，主要配置NameNode、DataNode的一些基于HDFS的属性信息、在NameNode和DataNode节点生效。

参数 含义 配置值
dfs.nameservices 指定一个逻辑上的HDFS集群服务名，该服务名是自定义的。当外界访问HDFS集群时，入口就是这个服务名 HDP
dfs.ha.namenodes.[nameservice ID] 指定两个NameNode的唯一标识，名字随便起，相互不重复即可，在HDFS集群管理中会用到 nn1,nn2
dfs.namenode.rpc-address.[nameservice ID].[name node ID] 指定nn01、nn02的RPC地址 hdp01.hdp.com:8020 hdp02.hdp.com:8020
dfs.namenode.http-address.[nameservice ID].[name node ID] 指定nn01、nn02的http地址 hdp01.hdp.com:50070 hdp02.hdp.com:50070
dfs.namenode.shared.edits.dir 指定集群的两个NameNode共享edits文件目录时，使用JournalNode集群的信息 qjournal://hdp01.hdp.com:8485;hdp02.hdp.com:8485;hdp03.hdp.com:8485/hdp315nn
dfs.journalnode.edits.dir 指定JournalNode集群在对NameNode的元数据目录进行共享时，数据在本地磁盘存储的路径 /data01/hadoop/hdfs/journal
dfs.replication 指定DataNode存储数据块的副本数量。默认值是3个，现在有3个DataNode，该值不大于3即可 3
dfs.ha.fencing.methods 配置隔离机制，一旦需要NameNode切换，使用shell方式进行操作 shell(/bin/true)
dfs.namenode.name.dir 用于确定将HDFS文件系统的元信息保存在什么目录下。如果这个参数设置为多个目录，那么这些目录下都保存着元信息的镜像备份，推荐多个磁盘路径存放元数据 /data01/hadoop/hdfs/namenode
dfs.datanode.data.dir 用于确定将HDFS文件系统的数据存储在本地磁盘哪个目录下。可以将这个参数设置为多个磁盘分区上的不同目录，即可将HDFS数据分布在多个不同磁盘分区上 /data01/hadoop/hdfs/data,/data02/hadoop/hdfs/data,/data03/hadoop/hdfs/data
dfs.permissions.enabled 表示是否在HDFS中开启权限检查，true表示开启，false表示关闭，生产环境建议开启 true

(2)NameNode内存

NameNode的内存计算：
每个文件块大概占用150byte，hdp01-02的内存为8G，能存储的文件块为
810241024*1024/150Byte≈5700万
在ambari上配置后内存后，会同步更新到/etc/hadoop/conf/hadoop-env.sh
image.png
image.png

在SETTINGS中将内存设置为5G，然后通过ADVANCED下的Advanced hadoop-env中的参数进行传递
export HADOOP_NAMENODE_INIT_HEAPSIZE="-Xms{ {namenode_heapsize}}"
然后在配置文件hadoop-env.sh中，可以看到内存已经更改为5G
export HADOOP_NAMENODE_INIT_HEAPSIZE="-Xms5120m"

(3)NameNode心跳

NameNode不仅要应对客户端的请求,还需要对DataNode的心跳进行接收，这些均需要线程
具体在hdfs-site.xml中设置

    <property>
      <name>dfs.namenode.handler.count</name>
      <value>21</value>
    </property>

$$ dfs.namenode.handler.count = 20\times\log_e^{Cluster Size} $$，比如集群规模（DataNode台数）为3台时，此参数设置为21。

(4)ZooKeeper中namenode的配置

NameNode的HA依赖于ZooKeeper，启用后在zk下会产生节点目录。因为已经开启了kerberos认证，因此在查看前应该先以服务principal登录到kdc上，然后才有权限查看到namenode的目录

kinit -kt /etc/security/keytabs/nn.service.keytab nn/hdp01.hdp.com@HDP315.COM
/usr/hdp/3.1.5.0-152/zookeeper/bin/zkCli.sh -server hdp01.hdp.com:2181,hdp02.hdp.com:2181,hdp03.hdp.com:2181
ls /hadoop-ha/hdp315nn

image.png

6.常用命令

因为开启了kerberos认证，所以需要先以这个principal登录，才能进行操作，否则会报错`
image.png

kinit -kt /etc/security/keytabs/nn.service.keytab nn/hdp01.hdp.com@HDP315.COM

(1)直接操作

①mkdir：创建路径

hdfs dfs -mkdir /testhdfs

②ls: 显示目录信息

hdfs dfs -ls /

③cat：显示文件内容

hdfs dfs -cat /testhdfs/test0219.txt

④chmod、chown：更改权限及归属

hdfs dfs -chmod 777 /testhdfs/test0219.txt
hdfs dfs -chown hdfs:hadoop /testhdfs/test0219.txt

⑤cp：从HDFS的一个路径拷贝到HDFS的另一个路径

hdfs dfs -cp /testhdfs/test0219.txt /testhdfs/tmp/

⑥rm：删除文件或文件夹

hdfs dfs -rm /testhdfs/tmp/test0219.txt

⑦mv：在HDFS目录中移动文件

hdfs dfs -mv /testhdfs/test0219.txt /testhdfs/tmp/

⑧tail：显示一个文件的末尾1kb的数据

hdfs dfs -tail /testhdfs/tmp/test0219.txt

⑨rm -r：递归删除目录及目录里面内容

hdfs dfs -rm -r /testhdfs/tmp/

⑩du：统计文件夹的大小信息
第一列标示该目录下总文件大小
第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，默认副本数是3，所以第二列的是第一列的三倍（第二列内容=文件大小*副本数）

hdfs dfs -du -s -h /testhdfs
hdfs dfs -du -s -h /testhdfs/test0219.txt

image.png

⑪setrep：设置HDFS中文件的副本数量

hdfs dfs -setrep 10 /testhdfs/test0219.txt

image.png

(2)上传文件

①moveFromLocal：把本地的文件剪切到HDFS上

hdfs dfs -moveFromLocal /home/hdfs/test0219.txt /testhdfs/

将hdfs家目录下的test0219.txt上传到HDFS根目录下的testhdfs文件夹
②copyFromLocal：将本地文件复制到HDFS上

hdfs dfs -copyFromLocal /home/hdfs/test0219-1.txt /testhdfs/

③put：等同于copyFromLocal，生产环境更习惯用put

hdfs dfs -put /home/hdfs/test0219-2.txt /testhdfs/

④AppendToFile：将一个本地文件的内容追加到一个HDFS文件末尾

hdfs dfs -appendToFile /home/hdfs/test0219-2.txt /testhdfs/test0219-1.txt

image.png

(3)下载文件

①copyToLocal：将HDFS上文件复制到本地目录上

hdfs dfs -copyToLocal /testhdfs/test0219.txt /home/hdfs/

②get：等同于copyToLocal，生产环境更习惯用get

hdfs dfs -get /testhdfs/test0219.txt /home/hdfs/

7.常见错误

(1)namenode启动失败

image.png

查看50070端口是否被占用，如被占用则kill掉

(2)HA后namenode重启报错

启用HA后重启namenode遇到报错：

resource_management.core.exceptions.ExecutionFailed: Execution of 'ambari-sudo.sh su hdfs -l -s /bin/bash -c 'ulimit -c unlimited ;  /usr/hdp/3.1.5.0-152/hadoop/bin/hdfs --config /usr/hdp/3.1.5.0-152/hadoop/conf --daemon start namenode'' returned 1. namenode is running as process 15506.  Stop it first.

image.png

查看日志/var/log/hadoop/hdfs/hadoop-hdfs-namenode-hdp01.log，确认为journalnode问题
image.png

查看journalnode日志，发现目录没有格式化
image.png

查看/data01/hadoop/hdfs/journal/下文件，发现为空，需要重新格式化

hdfs namenode -initializeSharedEdits

再次启动namenode后仍报错
再次查看日志/var/log/hadoop/hdfs/hadoop-hdfs-namenode-hdp01.log，
image.png

说明namenode元数据发生损坏，需要恢复元数据后，才能启动namenode。恢复过程中，遇到提示有错误的时候，按c继续恢复即可

/usr/hdp/3.1.5.0-152/hadoop/bin/
hadoop namenode -recover

image.png

文章标签：
微服务引擎
分布式计算
Hadoop
存储
Shell
机器学习/深度学习
关键词：
hadoop hdfs
hadoop文件存储HDFS版
文件存储HDFS版hadoop
hadoop安装
hadoop学习笔记
相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作，您将了解并实现在线业务的微服务全链路灰度能力。
这啥名啊
目录
相关文章
武子康
|
2月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
武子康
177 6
武子康
|
2月前
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
武子康
65 3
武子康
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
武子康
48 4
武子康
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
武子康
48 2
武子康
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
94 0
武子康
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
42 0
武子康
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
54 0
白头雁
|
分布式计算 应用服务中间件 Docker
Hadoop HDFS分布式文件系统Docker版
一、Hadoop文件系统HDFS 构建单节点的伪分布式HDFS 构建4个节点的HDFS分布式系统 nameNode secondnameNode datanode1 datanode2 其中 datanode2动态节点，在HDFS系统运行时，==动态加入==。
白头雁
2636 0
武子康
|
2月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
武子康
71 2
土木林森
|
1月前
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
土木林森
94 2