开发者社区> 问答> 正文

Spark运行示例求Pi程序时报错?报错

照着网上的那些教程,我已经把相关软件都安装了,能打开hadoop和spark的UI界面,并且能够用hadoop集群求出pi,但是用spark去求时,无论是启动spark-shell还是求Pi,都报错如下:

我已经调了好几天了,实在是没有办法了,跪求各位大神指教啊!!

展开
收起
爱吃鱼的程序员 2020-06-08 11:03:33 619 0
1 条回答
写回答
取消 提交回答
  • https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB

    没有办法连接到master,你看看hadoop这个主机名是否能正确解析,如果不能,自己在/etc/hosts里面手动添加上回复<aclass="referer"target="_blank">@GestureWei:hadoop主机是什么意思,我是小白,比较菜目前你的运行sparkshell或者sparksubmit连接的都是hadoop这个主机目前你的运行sparkshell或者sparksubmit连接的都是hadoop这个主机我的主机名是master,不是hadoop啊

    前排坐等,spark-shell都启动不起,可能是环境哪里出了问题,重新找个教程装一次,注意下细节

    顺带,楼主可以提供一下spark-submit提交脚本的命令

    从异常上看,创建SparkContext连接的master节点是hadoop:7077,你要保证这个主机名hadoop能够正确被解析成ip地址,而且是运行了sparkstandalone的master服务

    2020-06-08 11:03:44
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载