出现这个问题一般是未找到本地上的Hadoop路径,环境变量没有配置或者是没有下载hadoop环境。
解决方法:
1.去官网下载自己需要的hadoop版本:
Index of /dist/hadoop
下载完后解压到指定的目录之下记住目录名字。
2.下载相对应的hadoop-common
hadoop-common-2.6.0-bin-master.zip_inthehadoopbinarypath-Hadoop文档类资源-CSDN下载
将其中的放入原来hadoop的bin目录下
3.编辑环境变量
添加HADOOP_HOME
若没有则新建一个。
添加CLASSPATH
%HADOOP_HOME%\bin\winutils.exe
添加PATH
%HADOOP_HOME%\bin;
4.测试
import org.apache.spark.{SparkConf, SparkContext} object test { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("Spark pi").setMaster("local") val sc = new SparkContext(conf) val data = sc.parallelize(1 to 10) data.foreach(println(_)) } }
跑一跑或者:
成功