Spark 概述_目标|学习笔记

简介: 快速学习 Spark 概述_目标

开发者学堂课程【大数据 Spark2020最新课程(知识精讲与实战演练)第一阶段Spark 概述_目标】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/688/detail/11933


Spark 概述_目标


Spark基础:

由各个组件构成的多用途的计算框架,集合了各种组件

1.Spark Core:

Spark 的核心 ,Core 是核心的意思,Spark Core 是所有 Spark工具里最底层最核心的东西,在 Spark Core 的基础上又构建了针对于不同特定领域的一些工具

2.SparkSQL :

针对结构化的数据集来进行处理

3. SparkStreaming

进行流式的计算,使用的框架来进行计算

image.png

整个 Spark 基础部分的大致安排是按照 Spark 各个组件脉络来进行展开, SparkCore 是整个 Spark 部分最基础最核心的一个内容,介绍完 SparkCore 之后有必要对其进行一个扩展:主要说的是 SparkCore 的一个核心原理 说一些高级特性。

第一部分 SparkCore :

Spark 的基础,在整个 Spark 基础部分,一个最核心的就是去编写 Spark 的基础案例

在编写好 Spark 的入门案例之前,要先了解一个 Spark 的概述:

了解过这个 Spark 概述以后不能立刻就去编写代码,首先要有一个 Spark 集群,有了集群以后再进行半个编写,所以在入门案例之前要先去进行Spark集群的搭建,集群的搭建结束了以后就可以具体的去执行代码,这边写代码,类似于学习 Java , Hello Word ,这个 Hello Word 它里面有很多细节,需要再去详细的展开的,抽丝剥茧式的一点点去给它说明白说清楚。

所以,在整个 Spark 的最后一部分,要去进行一个 RDD 的入门,通过 RDD 的入门,详细介绍一下这个入门案例当中所涉及到的一些细节。

image.png

这是整个 Spark core 的一个这个大致的一个讲述的脉络,以及整个 Spark 基础的大致的一个组成,课程应该是展开的方式。

相关文章
|
缓存 分布式计算 并行计算
Spark3:RDD概述
Spark3:RDD概述
297 0
|
SQL 存储 分布式计算
Spark1:概述
Spark1:概述
205 0
|
SQL 分布式计算 数据挖掘
197 Spark DataFrames概述
197 Spark DataFrames概述
149 0
|
SQL 分布式计算 大数据
大数据Spark框架概述
大数据Spark框架概述
756 0
|
分布式计算 并行计算 大数据
Spark学习---day02、Spark核心编程(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(一)
Spark学习---day02、Spark核心编程 RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(一)
614 1
|
SQL 分布式计算 API
Spark学习------SparkSQL(概述、编程、数据的加载和保存)
Spark学习------SparkSQL(概述、编程、数据的加载和保存)
336 2
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
297 2
|
分布式计算 Java Scala
Spark学习---day03、Spark核心编程(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(二)
Spark学习---day03、Spark核心编程(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(二)
194 1
|
存储 分布式计算 算法
大数据-105 Spark GraphX 基本概述 与 架构基础 概念详解 核心数据结构
大数据-105 Spark GraphX 基本概述 与 架构基础 概念详解 核心数据结构
281 0
|
消息中间件 分布式计算 Kafka
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
290 0