一、Hadoop基本安装主要包括以下6个步骤:
1.创建Hadoop用户。 2.更新apt和安装Vim编辑器。 3.安装SSH和配置SSH无密码登录。 4.安装Java环境。 5.安装单机Hadoop。 6.HDFS:启动
1.创建Hadoop用户:
a.创建用户命令如下: sudo useradd -m hadoop -s /bin/bash b.接着使用命令设置密码(一半设为hadoop) sudo passwd hadoop(注意要输入两次) c.为hadoop用户增加管理员权限(避免一些比较棘手的权限问题) sudo adduserr hadoop sudo
2.更新apt和安装Vim编辑器
a.更新apt sudo apt-get update b.安装Vim编辑器 sudo aot-get install vim
3.安装SSH和配置SSH无密码登录
a.sudo apt-get install openssh-server b.ssh localhost 出现提示后输入yes并输入密码就可以了,但是每次登录都要输入密码,搜易我们设置无密码登录 c.exit d.cd ~/.ssh/ e.ssh-keygen -t rsa(一直回车) f.cat ./id_rsa.pub >> ./authorized_keys(完成)
4.安装Java环境(这一部分考的概率不是很大)
a.配置完环境变量时,让其生效命令 source ~/.bashrc b.查看是否安装成功 java -version c.如果能显示具体的版本号,就说明安装成功了。 java version "1.8.0_162"... ...
5.安装单机Hadoop
a.先解压 b.修改目录权限 sudo chown -R hadoop ./hadoop c.查看版本信息 ./bin/hadoop version (注意:要在hadoop目录主下) d.如果显示Hadoop的具体版本就成功了 Hadoop 3.1.3 ... ...
5.1.创建input目录,用来存放目录
cd /usr/local/hadoop mkdir input
5.2.将 /usr/local/hadoop/etc/hadoop 目录下的配置文件复制到input目录下,命令如下:
cp ./etc/hadoop/*.xml ./input
5.3.运行hadoop自带的Grep实例
5.4.查看输出数据:
cat ./output/*
5.5.可以得到以下结果:
dfsadmin dfs.replication dfs.namenode.name.dir dfs.datanode.data.dir
6.HDFS的启动命令:
cd /usr/local/hadoop ./sbin/start-dfs.sh 启动过程中所有的启动信息都写进了对应的日志文件,如果出现错误,可以在日志文件中查看
6.1查看是否启动成功:
输入:jps 输出:jps NameNode SecondaryNameNode DataNode
6.2查看Hadoop的信息:
http://localhost:9870
6.3在HDFS创建的hadoop用户的用户目录
cd /usr/local/hadoop ./bin/hdfs dfs -mkdir -p /user/hadoop
6.4在HDFS的“/user/hadoop”目录下创建input目录
./bin/hdfs dfs -mkdir input
6.5实现文件上传:
./bin/hdfs dfs -put ./etc/hadoop/*.xml input
6.6运行测试样例程序Grep
6.7系统会自动创建output目录,结果会存储在这里面
6.8查看结果:
./bin/hdfs dfs -cat output/* 会得到相同的结果。
6.9注意:
当重新运行程序时,首先将output目录删除 删除命令:./bin/hdfs dfs -rm -r output
6.10当需要停止HDFS时命令:
cd /usr/local/hadoop ./sbin/stop-dfs.sh
二、Linux基本命令
1.cd 命令:切换目录
a.切换到指定目录:cd /usr/local/hadoop b.切换到当前目录的上一级 cd .. c.切换到当前登录Linux操作系统的用户的自己的主文件夹 cd /home/你的名字
2.ls 命令:查看文件与目录
查看目录“/usr”下的所有文件和目录 ls -l/-a
3.mkdir 命令:新建目录
a.进入/tmp目录,创建一个名为‘a’的目录,并查看此目录下已经存放了那些目录 cd /tmp mkdir a ls -l b.进入/tmp目录,创建“a1/a2/a3/a4” mkdir -p a1/a2/a3/a4
4.rmdir 命令:删除空的目录
5.cp 命令:复制文件或目录: