解决IDEA:Failed to locate the winutils binary in the hadoop binary path

简介: 解决IDEA:Failed to locate the winutils binary in the hadoop binary path

出现这个问题一般是未找到本地上的Hadoop路径,环境变量没有配置或者是没有下载hadoop环境。


解决方法:


1.去官网下载自己需要的hadoop版本:


Index of /dist/hadoop


下载完后解压到指定的目录之下记住目录名字。


2.下载相对应的hadoop-common


hadoop-common-2.6.0-bin-master.zip_inthehadoopbinarypath-Hadoop文档类资源-CSDN下载


将其中的20210407204350378.png放入原来hadoop的bin目录下

3.编辑环境变量

添加HADOOP_HOME

2021040720331324.png


若没有则新建一个。

添加CLASSPATH


%HADOOP_HOME%\bin\winutils.exe


20210407204455726.png

添加PATH

%HADOOP_HOME%\bin;

20210407203358754.png

4.测试

import org.apache.spark.{SparkConf, SparkContext}
object test {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("Spark pi").setMaster("local")
    val sc = new SparkContext(conf)
    val data = sc.parallelize(1 to 10)
    data.foreach(println(_))
  }
    }

跑一跑或者:


20210407204610657.png


成功


目录
相关文章
|
1月前
IDEA创建项目失败提示 Failed to create directory 或 “项目初始化失败”
文章解释了IDEA创建项目失败提示“Failed to create directory”或“项目初始化失败”的原因通常是由于IDEA对目标文件夹没有操作权限,并建议更换一个有权限的文件夹来创建项目。
214 1
IDEA创建项目失败提示 Failed to create directory 或 “项目初始化失败”
|
4月前
|
Java
关于idea报错:Cannot determine path to 'tools.jar' library for 17 (E:\java-jdk\jdk17)的解决办法
关于idea报错:Cannot determine path to 'tools.jar' library for 17 (E:\java-jdk\jdk17)的解决办法
|
6月前
|
Java
IDEA Error:java: Compilation failed: internal java compiler error 解决办法
IDEA Error:java: Compilation failed: internal java compiler error 解决办法
170 0
idea快捷键:全局搜索文件,代码,接口,ctrl+shift+f无效?也可以点击Edit 点击Find Replace in path
idea快捷键:全局搜索文件,代码,接口,ctrl+shift+f无效?也可以点击Edit 点击Find Replace in path
|
6月前
|
前端开发 JavaScript Java
IDEA Maven install Failed to execute goal org.apache.maven.plugins异常处理
IDEA Maven install Failed to execute goal org.apache.maven.plugins异常处理
301 0
|
缓存 Java Spring
解决IDEA报错:无法检索应用程序 JMX 服务 URL[Failed to retrieve application JMX service URL]亲测可用
解决IDEA报错:无法检索应用程序 JMX 服务 URL[Failed to retrieve application JMX service URL]亲测可用
2173 1
|
12月前
|
IDE Java 开发工具
解决IntelliJ IDEA报错Error:Cannot determine path to ‘tools.jar‘ library for 17 (D:/JAVA)
解决IntelliJ IDEA报错Error:Cannot determine path to ‘tools.jar‘ library for 17 (D:/JAVA)
1379 0
|
6月前
|
SQL 分布式计算 资源调度
[已解决]FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to
[已解决]FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to
277 0
|
Java Maven
idea中maven打包工具类 repackage failed: Unable to find main class
idea中maven打包工具类 repackage failed: Unable to find main class
316 1
|
分布式计算 Hadoop 程序员
ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path
ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path