一、Hadoop 简介
1.1 Hadoop3核心组件
1 2 3 4 5 |
|
1.2 Hadoop集群简介
1 2 3 |
|
1.2.1 HDFS
1 2 3 |
|
1.2.2 YARN
1 2 |
|
二、环境信息及准备
2.1 机器及机器角色规划
2.2 节点添加hosts解析
1 2 3 |
|
2.3 关闭防火墙
2.4 hdp01到三台机器免密
1 2 |
|
2.5 时间同步
1 2 3 |
|
2.6 调大用户文件描述符
1 2 3 4 5 |
|
2.7 安装Java环境
1 2 3 4 5 6 7 8 9 10 11 |
|
三、安装Hadoop
3.1 解压安装包
此篇文档及Hadoop相关文档相关软件包统一在此百度网盘:
链接:https://pan.baidu.com/s/11F4THdIfgrULMn2gNcObRA?pwd=cjll
1 2 3 4 5 6 7 8 9 10 11 12 |
|
3.2 修改Hadoop环境配置变量
参考:https://hadoop.apache.org/docs/r3.1.4/ #Configuration 章节,左侧最下方
1 2 3 4 5 6 7 8 9 10 11 |
|
3.3 指定集群默认配置
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
|
3.4 修改SNN配置
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
|
3.5 MapReduce配置
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
|
3.6 YARN配置
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 |
|
3.7 配置从角色机器地址
1 2 3 4 |
|
8.同步集群配置
1 2 3 4 5 |
|
四、启动Hadoop
4.1 初始化名称节点
在hdp01.dialev.com上执行,仅此一次,误操作可以删除初始化目录
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
|
4.2 启动服务
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
|
五、验证
5.1 访问相关web UI
1 2 3 4 5 6 7 8 |
|
5.2 测试创建、上传功能
1 2 |
|
5.3 测试MapReduce执行
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
|
5.4 集群基准测试
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
|