实验: 熟悉常用的Linux操作和Hadoop操作

简介: 实验: 熟悉常用的Linux操作和Hadoop操作

实验: 熟悉常用的Linux操作和Hadoop操作

1.实验目的

为后续上机实验做准备,熟悉常用的Linux操作和Hadoop操作。

2.实验平台

操作系统:Linux

Hadoop版本:3.1.3

3.实验内容和要求

(一)熟悉常用的Linux操作

请按要求上机实践如下linux基本命令。

cd命令:切换目录

(1)切换到目录 /usr/local

cd /usr/local

(2)去到目前的上层目录

cd ..

(3)回到自己的主文件夹

cd ~

ls命令:查看文件与目录

(4)查看目录/usr下所有的文件

ls /usr

mkdir命令:新建新目录

(5)进入/tmp目录,创建一个名为a的目录,并查看有多少目录存在

cd /tmp
mkdir a
ls -l |grep "^d"|wc -l

(6)创建目录a1/a2/a3/a4

mkdir a{1..4}

rmdir命令:删除空的目录

(7)将上例创建的目录a(/tmp下面)删除

rmdir a

(8)删除目录a1/a2/a3/a4,查看有多少目录存在

rmdir a{1..4}

ls -l |grep “^d”|wc -l

cp命令:复制文件或目录

(9)将主文件夹下的.bashrc复制到/usr下,命名为bashrc1

cd /home/xiaohan
cp .bashrc /usr/bashrc1

(10)在/tmp下新建目录test,再复制这个目录内容到/usr

cd /tmp 
mkdir test
cp -r test /usr

mv命令:移动文件与目录,或更名

(11)将上例文件bashrc1移动到目录/usr/test

mv bashrc1 /usr/test

(12)将上例test目录重命名为test2

mv test test2


rm命令:移除文件或目录

(13)将上例复制的bashrc1文件删除

cd /usr/test2
rm -f bashrc1

(14)将上例的test2目录删除

rm -f test2

cat命令:查看文件内容

(15)查看主文件夹下的.bashrc文件内容

cat /home/xiaohan/.bashrc

tac命令:反向列示

(16)反向查看主文件夹下.bashrc文件内容

tac /home/xiaohan/.bashrc

more命令:一页一页翻动查看

(17)翻页查看主文件夹下.bashrc文件内容

more /home/xiaohan/.bashrc

head命令:取出前面几行

(18)查看主文件夹下.bashrc文件内容前20行

head -n 20 /home/xiaohan/.bashrc

(19)查看主文件夹下.bashrc文件内容,后面50行不显示,只显示前面几行

head -n -50 /home/xiaohan/.bashrc

tail命令:取出后面几行

(20)查看主文件夹下.bashrc文件内容最后20行

tail -n 20 /home/xiaohan/.bashrc

(21) 查看主文件夹下.bashrc文件内容,只列出50行以后的数据

tail -n +50 /home/xiaohan/.bashrc

touch命令:修改文件时间或创建新文件

(22)在/tmp下创建一个空文件hello并查看时间

cd /tmp
touch hello
stat hello

(23)修改hello文件,将日期调整为5天前

touch -d "5 days ago" hello

chown命令:修改文件所有者权限

(24)将hello文件所有者改为root帐号,并查看属性

chown root /tmp/hello
ll /tmp/hello

find命令:文件查找

(25)找出主文件夹下文件名为.bashrc的文件

find ~ -name .bashrc

tar命令:压缩命令

(26)在/目录下新建文件夹test,然后在/目录下打包成test.tar.gz

mkdir /test
tar -zcvf /test.tar.gz test

(27)解压缩到/tmp目录

tar -zxvf /test.tar.gz -C /tmp

grep命令:查找字符串

(28)从~/.bashrc文件中查找字符串’examples’

grep -n 'examples' ~/.bashrc

(30)查看JAVA_HOME变量的值

echo $JAVA_HOME

(二)熟悉常用的Hadoop操作

(31)启动hadoop,在HDFS中创建用户目录(现在已经在hadoop目录/usr/local/hadoop)

start-dfs.sh
./bin/hdfs dfs -mkdir -p /user/hadoop

(32)接着在此用户目录下创建text文件夹,并查看文件列表

./bin/hdfs dfs -mkdir /user/hadoop/test
./bin/hdfs dfs -ls /user/hadoop

(33)将~/.bashrc文件上传到HDFS的test文件夹,并查看test

./bin/hdfs dfs -put ~/.bashrc /user/hadoop/test
./bin/hdfs dfs -ls /user/hadoop/test

(34)将HDFS文件夹test拷到本机

./bin/hdfs dfs -get /user/hadoop/test ./test


相关文章
|
20天前
|
分布式计算 Java Hadoop
linux中HADOOP_HOME和JAVA_HOME删除后依然指向旧目录
通过以上步骤,可以有效地解决 `HADOOP_HOME`和 `JAVA_HOME`删除后依然指向旧目录的问题。确保在所有相关的配置文件中正确设置和删除环境变量,并刷新当前会话,使更改生效。通过这些措施,能够确保系统环境变量的正确性和一致性。
22 1
|
4月前
|
Ubuntu Linux
内核实验(四):Qemu调试Linux内核,实现NFS挂载
本文介绍了在Qemu虚拟机中配置NFS挂载的过程,包括服务端的NFS服务器安装、配置和启动,客户端的DHCP脚本添加和开机脚本修改,以及在Qemu中挂载NFS、测试连通性和解决挂载失败的方法。
238 0
内核实验(四):Qemu调试Linux内核,实现NFS挂载
|
4月前
|
NoSQL Linux Android开发
内核实验(三):编写简单Linux内核模块,使用Qemu加载ko做测试
本文介绍了如何在QEMU中挂载虚拟分区、创建和编译简单的Linux内核模块,并在QEMU虚拟机中加载和测试这些内核模块,包括创建虚拟分区、编写内核模块代码、编译、部署以及在QEMU中的加载和测试过程。
231 0
内核实验(三):编写简单Linux内核模块,使用Qemu加载ko做测试
|
4月前
|
Linux 网络安全 开发工具
内核实验(二):自定义一个迷你Linux ARM系统,基于Kernel v5.15.102, Busybox,Qemu
本文介绍了如何基于Linux Kernel 5.15.102版本和BusyBox创建一个自定义的迷你Linux ARM系统,并使用QEMU进行启动和调试,包括内核和BusyBox的编译配置、根文件系统的制作以及运行QEMU时的命令和参数设置。
337 0
内核实验(二):自定义一个迷你Linux ARM系统,基于Kernel v5.15.102, Busybox,Qemu
|
4月前
|
NoSQL Linux 编译器
内核实验(一):使用QEMU+GDB断点调试Linux内核代码
如何配置环境并使用QEMU虚拟机结合GDB进行Linux内核代码的断点调试,包括安装QEMU、交叉编译工具链,编译内核以及通过GDB远程连接进行调试的详细步骤。
180 0
内核实验(一):使用QEMU+GDB断点调试Linux内核代码
|
5月前
|
网络协议 Linux 网络安全
入职必会-开发环境搭建39-Linux常用操作-Linux防火墙操作
在CentOS 7中,新引入了firewalld服务(防火墙),取代了CentOS 6之前的iptables服务(防火墙)。
入职必会-开发环境搭建39-Linux常用操作-Linux防火墙操作
|
5月前
|
存储 运维 Linux
Linux磁盘精准缩容:操作详解与技巧
在Linux系统管理中,有效的磁盘空间优化对于维护系统性能至关重要。本文将深入探讨如何在Linux环境下安全地进行磁盘缩容,帮助你合理调整存储资源,确保系统高效运行。跟随本篇的步骤,一起优化你的Linux系统磁盘空间!
Linux磁盘精准缩容:操作详解与技巧
|
3月前
|
Linux
linux内核 —— 读写信号量实验
linux内核 —— 读写信号量实验
|
4月前
|
存储 Linux 网络安全
【Azure App Service】.NET代码实验App Service应用中获取TLS/SSL 证书 (App Service Linux/Linux Container)
【Azure App Service】.NET代码实验App Service应用中获取TLS/SSL 证书 (App Service Linux/Linux Container)
|
5月前
|
分布式计算 Hadoop 关系型数据库
实时计算 Flink版操作报错合集之Hadoop在将文件写入HDFS时,无法在所有指定的数据节点上进行复制,该如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。