分布式系统详解--框架(Hadoop-基本shell命令)

简介: 分布式系统详解--框架(Hadoop-基本shell命令)

分布式系统详解--框架(Hadoop-基本shell命令)

       前面的文章我们已经将一个集群搭建好了,现在就需要知道一些关于hadoop的基本操作命令,这篇文章就简单介绍一下hadoop的基本操作shell命令。

一、安装hadoop后,hadoop fs

在常用命令上进行了标注。

[root@MyLinux hadoop-2.7.5]# hadoop fs
Usage: hadoop fs [generic options]
        [-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]  //在终端显示文件内容
        [-checksum <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>] 
        [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] //复制到本地
        [-count [-q] [-h] <path> ...]  //显示目录中文件数量
        [-cp [-f] [-p | -p[topax]] <src> ... <dst>] //复制多个文件到目标目录
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] <path> ...] //显示目录文件中所有文件内容
        [-expunge]
        [-find <path> ... <expression> ...]
        [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] //复制文件到本地,可以忽略crc校验
        [-getfacl [-R] <path>]
        [-getfattr [-R] {-n name | -d} [-e en] <path>]
        [-getmerge [-nl] <src> <localdst>]   //将源目录中的所有文件排序合并到一个文件中
        [-help [cmd ...]]
        [-ls [-d] [-h] [-R] [<path> ...]] // 显示当前目录所有文件
        [-mkdir [-p] <path> ...] //创建文件夹
        [-moveFromLocal <localsrc> ... <dst>] //从本地中复制文件到hdfs
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]  //移动多个文件到目标目录
        [-put [-f] [-p] [-l] <localsrc> ... <dst>]  //本地文件复制到hdfs
        [-renameSnapshot <snapshotDir> <oldName> <newName>]
        [-rm [-f] [-r|-R] [-skipTrash] <src> ...] //删除文件
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
        [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
        [-setfattr {-n name [-v value] | -x name} <path>]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] <file>]
        [-test -[defsz] <path>]
        [-text [-ignoreCrc] <src> ...] //在终端显示文件内容
        [-touchz <path> ...]  //创建一个空文件
        [-truncate [-w] <length> <path> ...]
        [-usage [cmd ...]]
 
Generic options supported are
-conf <configuration file>     specify an application configuration file
-D <property=value>            use value for given property
-fs <local|namenode:port>      specify a namenode
-jt <local|resourcemanager:port>    specify a ResourceManager
-files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines.
 
The general command line syntax is
bin/hadoop command [genericOptions] [commandOptions]

二、查看配置信息后的参数

hdfs getconf 执行后会告诉你一个参数

hdfs getconf -confkey fs.defaultFS 执行后会告诉你hdfs://hadoop02:9000

hdfs getconf -confkey dfs.blocksize 执行后会告诉你134217728

hdfs getconf -confkey dfs.replication 执行后会告诉你

目录
相关文章
|
11天前
|
运维 NoSQL Java
SpringBoot接入轻量级分布式日志框架GrayLog技术分享
在当今的软件开发环境中,日志管理扮演着至关重要的角色,尤其是在微服务架构下,分布式日志的统一收集、分析和展示成为了开发者和运维人员必须面对的问题。GrayLog作为一个轻量级的分布式日志框架,以其简洁、高效和易部署的特性,逐渐受到广大开发者的青睐。本文将详细介绍如何在SpringBoot项目中接入GrayLog,以实现日志的集中管理和分析。
53 1
|
23天前
|
数据采集 分布式计算 并行计算
Dask与Pandas:无缝迁移至分布式数据框架
【8月更文第29天】Pandas 是 Python 社区中最受欢迎的数据分析库之一,它提供了高效且易于使用的数据结构,如 DataFrame 和 Series,以及大量的数据分析功能。然而,随着数据集规模的增大,单机上的 Pandas 开始显现出性能瓶颈。这时,Dask 就成为了一个很好的解决方案,它能够利用多核 CPU 和多台机器进行分布式计算,从而有效地处理大规模数据集。
48 1
|
18天前
|
分布式计算 资源调度 Hadoop
在YARN集群上运行部署MapReduce分布式计算框架
主要介绍了如何在YARN集群上配置和运行MapReduce分布式计算框架,包括准备数据、运行MapReduce任务、查看任务日志,并启动HistoryServer服务以便于日志查看。
31 0
|
21天前
|
缓存 分布式计算 Java
详细解读MapReduce框架中的分布式缓存
【8月更文挑战第31天】
12 0
|
26天前
|
机器学习/深度学习 编译器 PyTorch
自研分布式训练框架EPL问题之吸引社区参与共建如何解决
自研分布式训练框架EPL问题之吸引社区参与共建如何解决
|
26天前
|
并行计算 算法 调度
自研分布式训练框架EPL问题之提高GPU利用率如何解决
自研分布式训练框架EPL问题之提高GPU利用率如何解决
|
26天前
|
算法 异构计算
自研分布式训练框架EPL问题之帮助加速Bert Large模型的训练如何解决
自研分布式训练框架EPL问题之帮助加速Bert Large模型的训练如何解决
|
26天前
|
自然语言处理 Java
自研分布式训练框架EPL问题之实现显存的极致优化如何解决
自研分布式训练框架EPL问题之实现显存的极致优化如何解决
|
26天前
|
存储 异构计算
自研分布式训练框架EPL问题之通过strategy annotation实现流水并行如何解决
自研分布式训练框架EPL问题之通过strategy annotation实现流水并行如何解决
|
26天前
|
机器学习/深度学习 分布式计算 TensorFlow
自研分布式训练框架EPL问题之降低分布式训练的使用门槛如何解决
自研分布式训练框架EPL问题之降低分布式训练的使用门槛如何解决