1.解压scala 2.12.11
2.配置环境变量
exportSCALA_HOME=/data/soft/scala-2.12.11
exportPATH=.:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$PATH
网络异常，图片无法展示
|
10.部署Spark
1.解压spark-2.4.3-bin-hadoop2.7.tgz
tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz
2.重命名spark-env.sh.template 并配置
mv spark-env.sh.template spark-env.sh
vi spark-env.sh
exportJAVA_HOME=/data/soft/jdk1.8
exportSPARK_MASTER_HOST=bigdata01
3.重命名slaves.template 并配置
bigdata
4.启动Spark
网络异常，图片无法展示
|
5.8080端口查看
网络异常，图片无法展示
|
6.配置Spark on Yarn
在spark-env.sh下添加一行
export HADOOP_CONF_DIR=/data/soft/hadoop-3.2.0/etc/hadoop
7.往Hadoop集群中提交Spark任务测试
bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster examples/jars/spark-examples_2.11-2.4.3.jar 2
网络异常，图片无法展示
|
网络异常，图片无法展示
|
