开发者社区> 问答> 正文

Spark启动Shell脚本要怎么做?

Spark启动Shell脚本要怎么做?

展开
收起
游客fbdr25iajcjto 2021-12-06 22:07:29 648 0
1 条回答
写回答
取消 提交回答
  • 1.start-all.sh

    spark启动事首选启动spark-config.sh,然后启动start-master.sh 最后启动脚本

    2.start-master.sh脚本

    ${SPARK_HOME}/sbin"/spark-daemon.sh start $CLASS1
    --ip $SPARK_MASTER_IP--port $SPARK_MASTER_PORT--webui-port $SPARK_MASTER_WEBUI_PORT
    $ORIGINAL_ARGS /sbin"/spark-daemon.sh start $CLASS1
    --ip $SPARK_MASTER_IP--port $SPARK_MASTER_PORT--webui-port $SPARK_MASTER_WEBUI_PORT
    $ORIGINAL_ARGS start-master.sh脚本主要执行的是这一块逻辑,主要使用spark-daemon.sh利用传入的参数启动Spark。

    3.spark-daemon.sh脚本

    nohup nice -n"$SPARK_NICENESS""${SPARK_HOME}"/bin/spark-class $command"$@">> "$log"2>&1 < /dev/null & -n"$SPARK_NICENESS""${SPARK_HOME}"/bin/spark-class $command"$@">> "$log"2>&1 < /dev/null & 脚本中启动执行的主要脚本命令是上述代码,主要通过${SPARK_HOME}/bin/spark-class启动,接下来我们看一下spark-class

    4.spark-class文件

    2021-12-06 22:08:31
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
EXTENDING SPARK WITH JAVA AGENTS 立即下载
Spark Streaming At Bing Scale 立即下载
Apache Spark: Cloud and On-Prem 立即下载