【笔记】Hadoop安装部署

简介:

安装虚拟机

使用VirtualBox安装rhel6.3,存储为30G,内存为1G,并使用复制克隆出两个新的虚拟机,这样就存在3台虚拟机,设置三台虚拟机的主机名称,如:rhel-june、rhel-june-1、rhel-june-2

配置网络

a. VirtualBox全局设定-网络中添加一个新的连接:vboxnet0

b. 设置每一个虚拟机的网络为Host-Only

c.分别修改每个虚拟机的ip,DHCP或手动设置

vim /etc/sysconfig/network-scripts/ifcfg-eth0
vim /etc/udev/rules.d/70-persistent-net.rules  #删掉第一个,修改第二个名字为eth0
start_udev

d.修改主机名

vim /etc/sysconfig/network

e.每个虚拟机中修改hosts:

192.168.56.100 rhel-june
192.168.56.101 rhel-june-1
192.168.56.102 rhel-june-2

最后机器列表为:

rhel-june:   192.168.56.100
rhel-june-1: 192.168.56.101
rhel-june-2: 192.168.56.102

机群规划

版本:

hadoop:1.1.1
JDK:1.6.0_38

集群各节点:

NameNode:192.168.56.100
NameSecondary:192.168.56.100
DataNode:192.168.56.101
DataNode:192.168.56.102

安装过程

a.将hadoop压缩包解压缩到/opt目录

b.修改以下配置文件:

core-site.xml
hdfs-site.sml
mapred-site.xml

c.设置master、slaves文件

master中内容为:

	192.168.56.100

slaves中内容为:

	192.168.56.101
	192.168.56.102

d.设置环境变量

方便执行java命令及hadoop命令. 使用root登录,vi ~/.bash_profile追加下列信息

export JAVA_HOME=/opt/jdk1.6.0_38
export HADOOP_INSTALL=/opt/hadoop-1.1.1
export PATH=$PATH:$HADOOP_INSTALL/bin:$JAVA_HOME/bin

e.修改hadoop脚本中JAVA_HOME/opt/hadoop-1.1.1/conf/hadoop-env.sh

f.格式化namenode

hadoop namenode -format

g.启动hdfs集群

sh /opt/hadoop-1.1.1/bin/start-all.sh

h.查看节点进程

jps

查看状态

http://rhel-june:50030/
http://rhel-june:50070/
目录
相关文章
|
分布式计算 运维 Hadoop
42 Hadoop的HA集群的安装部署
42 Hadoop的HA集群的安装部署
113 0
|
分布式计算 资源调度 Hadoop
Flink安装部署{单机模式、会话模式(集群部署)、yarn模式(包含hadoop3.1.3部署)}
Flink安装部署{单机模式、会话模式(集群部署)、yarn模式(包含hadoop3.1.3部署)}
486 0
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
85 2
|
分布式计算 固态存储 Hadoop
Apache Doris Broker快速体验之Hadoop安装部署(1)1
Apache Doris Broker快速体验之Hadoop安装部署(1)1
151 0
|
7月前
|
分布式计算 Hadoop 大数据
大数据成长之路------hadoop集群的部署(2)Hadoop集群安装部署
大数据成长之路------hadoop集群的部署(2)Hadoop集群安装部署
138 0
|
XML 分布式计算 Hadoop
Apache Doris Broker快速体验之Hadoop安装部署(1)2
Apache Doris Broker快速体验之Hadoop安装部署(1)2
211 0
|
SQL 存储 分布式计算
安装部署--hadoop、hive 配置修改&impala 配置 | 学习笔记
快速学习 安装部署--hadoop、hive 配置修改&impala 配置
613 0
安装部署--hadoop、hive 配置修改&impala 配置 | 学习笔记
|
分布式计算 Hadoop 关系型数据库
Apache Oozie- 安装部署修改 hadoop& 解压拷贝依赖包|学习笔记
快速学习 Apache Oozie- 安装部署修改 hadoop& 解压拷贝依赖包
Apache Oozie- 安装部署修改 hadoop& 解压拷贝依赖包|学习笔记
|
SQL 关系型数据库 Java
hadoop伪分布式安装部署HIVE
应用场景 当我们按照hadoop伪分布式集群搭建博客搭建了hadoop以后,发现这是一个空的hadoop,只有YARN,MapReduce,HDFS,而这些实际上我们一般不会直接使用,而是需要另外部署Hadoop的其他组件,来辅助使用。
1786 0
|
存储 分布式计算 资源调度
Hadoop伪分布式集群的安装部署
Hadoop伪分布式集群的安装部署Hadoop伪分布式集群的安装部署 首先可以为Linux虚拟机搭建起来的最初状态做一个快照,方便后期搭建分布式集群时多台Linux虚拟机的准备。 一、如何为虚拟机做快照? 1、什么是快照? 快照就是对当前的虚拟机状态进行拍照,保留虚拟机当前状态的操作信息。
1957 0