使用Shell命令操作HDFS

简介: 【8月更文挑战第5天】使用Shell命令操作HDFS。

使用Shell命令操作HDFS
在Windows系统中安装Hadoop3.1.3,然后完成下面题目中的各项操作:
(1)使用自己的用户名登录Windows系统,启动Hadoop,为当前登录的Windows用户在HDFS中创建用户目录“/user/[用户名]”;
(2)接着在HDFS的目录“/user/[用户名]”下,创建test目录;
(3)将Windows系统本地的一个文件上传到HDFS的test目录中,并查看上传后的文件内容;
(4)将HDFS目录test复制到Windows本地文件系统的某个目录下。
【参考答案】
(1)使用自己的用户名登录Windows系统,启动Hadoop,为当前登录的Windows用户在HDFS中创建用户目录“/user/[用户名]”;
假设当前登录Windows系统的用户名是xiaoming(请替换成自己的登录名)。

cd c:\hadoop-3.1.3\bin
hadoop fs -mkdir hdfs://localhost:9000/user/
hadoop fs -mkdir hdfs://localhost:9000/user/xiaoming
(2)接着在HDFS的目录“/user/[用户名]”下,创建test目录;
hadoop fs -mkdir hdfs://localhost:9000/user/xiaoming/test
(3)将Windows系统本地的一个文件上传到HDFS的test目录中,并查看上传后的文件内容;
在“C:\”下创建一个文件test.txt,里面输入一行语句“I love hadoop”,使用如下命令把该文件上传到HDFS中:
hadoop fs -put C:\test.txt hdfs://localhost:9000/user/xiaoming/test
hadoop fs -cat hdfs://localhost:9000/user/xiaoming/test/test.txt
(4)将HDFS目录test复制到Windows本地文件系统的某个目录下。
hadoop fs -get hdfs://localhost:9000/user/xiaoming/test C:\

目录
相关文章
|
3天前
|
安全 Shell 数据处理
使用Python执行Shell命令并获取结果
在实际应用中,可以根据需要选择适当的参数和方法来执行Shell命令,并处理可能出现的各种情况。无论是系统管理、自动化任务还是数据处理,掌握这些技巧都将极大地提高工作效率。
24 12
|
2月前
|
人工智能 Shell iOS开发
AI Shell:在命令行里“对话” AI ,微软推出将 AI 助手引入命令行的 CLI 工具,打造对话式交互命令行
AI Shell 是一款强大的 CLI 工具,将人工智能直接集成到命令行中,帮助用户提高生产力。AI Shell 支持多种 AI 模型和助手,通过多代理框架提供丰富的功能和灵活的使用模式。
165 7
|
2月前
|
Java Shell Windows
java Runtime.exec()执行shell/cmd命令:常见的几种陷阱与一种完善实现
java Runtime.exec()执行shell/cmd命令:常见的几种陷阱与一种完善实现
54 1
|
3月前
|
Web App开发 网络协议 Linux
linux命令总结(centos):shell常用命令汇总,平时用不到,用到就懵逼忘了,于是专门写了这篇论文,【便持续更新】
这篇文章是关于Linux命令的总结,涵盖了从基础操作到网络配置等多个方面的命令及其使用方法。
83 1
linux命令总结(centos):shell常用命令汇总,平时用不到,用到就懵逼忘了,于是专门写了这篇论文,【便持续更新】
|
3月前
|
Shell 知识图谱
Shell printf 命令
10月更文挑战第3天
29 1
|
3月前
|
Unix Shell Linux
常见的shell命令
shell常用命令
69 11
|
4月前
|
Shell Linux
Linux shell编程学习笔记82:w命令——一览无余
Linux shell编程学习笔记82:w命令——一览无余
|
4月前
|
Java Shell Windows
java Runtime.exec()执行shell/cmd命令:常见的几种陷阱与一种完善实现
java Runtime.exec()执行shell/cmd命令:常见的几种陷阱与一种完善实现
171 5
|
3月前
|
Shell PHP
Shell echo命令
10月更文挑战第3天
26 0
|
3月前
|
JSON Java Shell
Dockerfile中RUN、CMD、ENTRYPOINT、SHELL命令的区别
理解这些指令的差异和应用场景,有助于构建高效、灵活且易于管理的Docker镜像。在实际应用中,根据需要选择合适的指令,可以有效地控制镜像构建和容器运行的行为。
268 0