Sparkstreaming 介绍-特点 | 学习笔记

简介: 快速学习 Sparkstreaming 介绍-特点

开发者学堂课程【大数据Spark2020版(知识精讲与实战演练)第五阶段:Sparkstreaming 介绍-特点 】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/692/detail/12128


Sparkstreaming 介绍-特点

内容介绍:

一、批量计算和流计算的区别

二、Sparkstreaming 的特点

 

一、批量计算和流计算的区别

批量计算也叫做离线计算,是针对一整个数据集进行计算

流计算是针对一条数据来进行计算,流计算从结构和定义上是来一部分数据处理一部分数据,但 Sparkstreaming 属于流计算,也叫做小批量

 

二、Sparkstreaming 的特点

1. Sparkstreaming 是 spark core api 的扩展

说明:

Spark streaming 代表 1.0 时代的处理方案,2.0 有更好的方案,具有类似 rdd 的api 易于使用并可和现有系统共用相似代码。

Sparkstreaming 可以在流上使用基于 spark 的机器学习和计算,是一个一战式的平台,以往进行机器学习时常常必需要计算数据集,而无法进行流的计算,所以通过 Sparkstreaming 经过配合完成相关计算。

2.Sparkstreaming 具有很好的整合性

Sparkstreaming 可以从 kafka,flume TCP 灯光流和队列中获取数据。

Sparkstreaming 可以将处理的数据写入文件系统,需要自身进行相关操作,可能不太方便,可灵活落地于常见数据库中。

3.Sparkstreaming 是微批次处理模型

微批次处理的方式不会长时间运行的 oprator

所以更易于容错设计为批次模型能够避免运行过慢的服务,实行推测执行。

此外注意:

Sparkstreaming 并不是来一条数据进行一条数据是在一秒或者两秒的时间节点数据整合起来进行处理,所以说 Sparkstreaming 并不是实时的流而是一个小批量一个小批量的去处理.

相关文章
|
消息中间件 存储 安全
微服务之间的数据依赖问题是怎样的?
微服务之间的数据依赖问题是怎样的?
509 0
微服务之间的数据依赖问题是怎样的?
|
API 数据安全/隐私保护 开发者
使用MechanicalSoup进行网页自动化交互
使用MechanicalSoup进行网页自动化交互
169 2
|
机器学习/深度学习 传感器 算法
【XGBoost回归预测】基于鲸鱼算法WOA优化XGBoost实现数据回归预测附matlab代码
【XGBoost回归预测】基于鲸鱼算法WOA优化XGBoost实现数据回归预测附matlab代码
|
Java Nacos 微服务
微服务中间件之Nacos
Nacos是阿里巴巴开源的动态服务发现、配置管理和服务管理平台,支持服务注册与发现、配置管理及服务健康监测。采用Spring Cloud、Spring Boot、Raft算法等技术,适用于微服务架构和云原生应用,提供简单易用的安装部署方式和丰富的应用场景。
2465 3
|
人工智能 Python
人工智能导论——谓词公式化为子句集详细步骤
在谓词逻辑中,有下述定义: 原子(atom)谓词公式是一个不能再分解的命题。 原子谓词公式及其否定,统称为文字(literal)。$P$称为正文字,$\neg P$称为负文字。$P$与$\neg P$为互补文字。 <font color="ddd0000">任何文字的析取式称为子句(clause)。任何文字本身也是子句。</font> 由子句构成的集合称为子句集。 不包含任何文字的子句称为空子句,表示为NIL。 <font color="ddd0000">由于空子句不含有文字,它不能被任何解释满足,所以,空子句是永假的、不可满足的。</font> 在谓词逻辑中,任何一个谓词公式都可以通过应用等
2358 1
人工智能导论——谓词公式化为子句集详细步骤
|
定位技术 数据安全/隐私保护
幻兽帕鲁服务器参数配置指南&参数解读&参数推荐
幻兽帕鲁服务器支持非常多的参数配置,本文带来了详细的参数解读、配置教程,以及亲身体验后的参数搭配,大幅增加你的游戏体验!
3558 10
|
传感器 安全 Java
RXTX
RXTX
315 1
|
JavaScript 前端开发
在Vue3中使用echarts图表
在Vue3中使用echarts图表
411 0
在Vue3中使用echarts图表
|
存储 缓存 开发框架
Flutter的网络请求:使用Dart进行HTTP请求的技术详解
【4月更文挑战第26天】了解Flutter网络请求,本文详述使用Dart进行HTTP请求
1130 1
|
弹性计算 固态存储 大数据
2024年阿里云服务器租用费用_阿里云云服务器ECS价格表(2核2G - 8核64G)
阿里云服务器分为云服务器ECS和轻量应用服务器,云服务器s6公网带宽可选1M到5M,系统盘40G起可选高效云盘、SSD云盘或ESSD云盘,阿里云服务器租用费用,轻量应用服务器和云服务器ECS优惠价格表,云服务器ECS经济型e实例2核2G、3M固定带宽99元一年、ECS u1实例2核4G、5M固定带宽、80G ESSD Entry盘优惠价格199元一年,轻量应用服务器2核2G3M带宽轻量服务器一年61元、2核4G4M带宽轻量服务器一年165元12个月、2核4G服务器30元3个月,幻兽帕鲁4核16G和8核32G服务器配置,云服务器ECS可以选择经济型e实例、通用算力u1实例、ECS计算型c7。
391 4