Hadoop是一个开源的分布式计算框架,用于处理大规模数据集的存储和计算。下面是Hadoop中常用的一些命令:
hadoop fs
:用于操作Hadoop分布式文件系统(HDFS)的命令。hadoop fs -ls <path>
:列出指定路径下的文件和目录。hadoop fs -mkdir <path>
:创建一个新的目录。hadoop fs -put <src> <dest>
:将本地文件上传到HDFS。hadoop fs -get <src> <dest>
:将HDFS文件下载到本地。hadoop fs -rm <path>
:删除指定的文件或目录。hadoop fs -cat <file>
:显示文件的内容。hadoop fs -copyFromLocal <src> <dest>
:从本地复制文件到HDFS。hadoop fs -copyToLocal <src> <dest>
:从HDFS复制文件到本地。
hadoop mapred
:用于管理和监控MapReduce作业的命令。hadoop mapred job -list
:列出正在运行的MapReduce作业。hadoop mapred job -kill <job_id>
:终止指定的MapReduce作业。
hadoop jar
:用于在Hadoop集群上运行Java程序的命令。hadoop jar <jar_file> <main_class>
:运行指定的Java程序。
yarn
:用于管理和监控Hadoop集群资源的命令。yarn application -list
:列出正在运行的应用程序。yarn application -kill <application_id>
:终止指定的应用程序。
hadoop dfsadmin
:用于管理HDFS的命令。hadoop dfsadmin -report
:显示HDFS集群的状态报告。hadoop dfsadmin -safemode enter
:进入安全模式,限制对HDFS的修改操作。hadoop dfsadmin -safemode leave
:退出安全模式。
这些是Hadoop中常用的一些命令,用于管理和操作HDFS、MapReduce作业以及集群资源。使用这些命令可以有效地管理和处理大规模的数据集。