Hadoop学习笔记(三) Hadoop伪分布式

1、配置
配置文件(一): vi etc/hadoop/core-site.xml

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

<property>
        <name>hadoop.tmp.dir</name>
        <value>hdfs:/usr/local/module/hadoop-3.2.2/data/tmp</value>
    </property>

配置文件（二）：hadoop-env.sh
Linux系统获取JDK的安装路径并修改
echo $JAVA_HOME
export JAVA_HOME=实际路径

配置文件（三）：hdfs-site.xml
HDFS副本数修改为1，默认3

    <name>dfs.replication</name>
    <value>1</value>

2、启动集群
（1）格式化NameNode （第一次启动时格式化，以后不用一直格式化）

bin/hdfs namenode -format

（2）启动NameNode

sbin/hadoop-daemon.sh start namenode

(3) 启动DataNode

sbin/hadoop-daemon.sh start datanode

(4) 关闭NameNode

sbin/hadoop-daemon.sh stop namenode

(5) 关闭DataNode

sbin/hadoop-daemon.sh stop datanode

3、查看集群
jps （意思是java进程）

4、访问后台
ip:50070
重点关注下 Utilities 模块

创建文件夹 bin/hdfs dfs -mkdir -p 文件夹路径/文件名
移动文件 bin/hdfs dfs -put 当前文件路径 目标文件夹路径
5、测试workcount案例

注意：如果输出数据源文件如果存在，会抛错的！

6、查看日志
日志目录 handoop的安装路径下/logs