Spark 集群搭建_分发和启动|学习笔记

简介: 快速学习 Spark 集群搭建_分发和启动

开发者学堂课程【大数据 Spark2020最新课程(知识精讲与实战演练)第一阶段Spark 集群搭建_分发和启动】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/688/detail/11941


Spark 集群搭建_分发和启动

spark 的安装包分发给不同的其他节点以后,去启动整个集群。

步骤:

第一步:分发

分发到 Node02 和 Node03 当中。

第二步

启动整个集群,分为两部分的启动,

一部分启动spark集群,还有一部分启动 history- server。

进入到的 SSH 客户端需要窗口当中,那么首先,还是进入到 spark 的这个目录下,首先CD的 export servers的目录下,

使用 scp-r 命令来去把 spark 分发给 node02 一份对,分发到当前路径下,等待分发完成,接下来再去分发给 node03 ,完成后,可以试着去启动整个集群,

进入 spark 目录下,找到export.servers.spark,这时进入 sbin 路径下找到一个叫做 start- all. Sh 的一个命令。

需要注意,一般涉及到 sbin 指的是管理员使用的一些命令,如果是 bin 就是普通的用户也可以使用的一些工具命令,这时, start all 去启动整个集群,包括 Node01启动,Node02 启动和 Node03启动对吧,还是在 sbin 当中去启动一下history -server,

这个过程会稍微有一点点缓慢,那么这时,history server已经启动完成了并且没有任何问题了,整个spark集群的安装到此为止。

回顾:下载 spark,然后,上传到服务器,然后做一些配置,然后,配置 history -server,然后分发,然后启动。

最后一步:

看一看 Node01 上有没有 spark 对应的内容,有没有spark 的这个进程,首先这个master 对应的 spark 的master,worker 对应的就是 spark 的 worker。

再来看 Node02 当中,能注意到 worker 就是 spark worker, Node03当中,进入一下 Node03, jps ,

image.png

能看到在 Node03 上也有这个 worker 进程所以说明整个集群的启动是没有问题的。

相关文章
|
9月前
|
人工智能 分布式计算 调度
打破资源边界、告别资源浪费:ACK One 多集群Spark和AI作业调度
ACK One多集群Spark作业调度,可以帮助您在不影响集群中正在运行的在线业务的前提下,打破资源边界,根据各集群实际剩余资源来进行调度,最大化您多集群中闲置资源的利用率。
|
11月前
|
存储 分布式计算 调度
Spark Master HA 主从切换过程不会影响到集群已有作业的运行, 为什么?
Spark Master 的高可用性(HA)机制确保主节点故障时,备用主节点能无缝接管集群管理,保障稳定运行。关键在于: 1. **Driver 和 Executor 独立**:任务执行不依赖 Master。 2. **应用状态保持**:备用 Master 通过 ZooKeeper 恢复集群状态。 3. **ZooKeeper 协调**:快速选举新 Master 并同步状态。 4. **容错机制**:任务可在其他 Executor 上重新调度。 这些特性保证了集群在 Master 故障时仍能正常运行。
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式(一)
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式(一)
145 0
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式(二)
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式(二)
131 0
|
消息中间件 分布式计算 Kafka
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
209 0
|
消息中间件 分布式计算 Kafka
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
290 0
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程(一)
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程(一)
302 0
|
SQL 分布式计算 算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程(二)
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程(二)
249 0
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
286 0
|
存储 SQL 分布式计算
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例(一)
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例(一)
207 0