Sparkstreaming 介绍 场景 | 学习笔记

简介: 快速学习 Sparkstreaming 介绍 场景

开发者学堂课程【大数据Spark2020版(知识精讲与实战演练)第五阶段:Sparkstreaming 介绍 场景 】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/692/detail/12125


Sparkstreaming 介绍 场景

内容介绍

一、流式计算

二、Sparkstreaming 介绍

 

一、流式计算

流式计算,包括两个框架

第一个 Sparkstreaming 第二个为 structureming

这两个框架均是 spark 提供的流式计算的框架

一个代表过去,一个代表现阶段计算的框架

Sparkstreaming 为 speak2.0 左右开始使用的进入生产环节使用的一个状态

对 Sparkstreaming 将围绕介绍,案例与原理、操作三个方面进行讲解

Sparkstreaming 介绍部门将围绕,流计算,应用场景,区别,架构,特点等知识点来进行讲解

image.png

 

二、Sparkstreaming 应用场景介绍

(1)商品应用场景

图为京东购物车的选购图片

image.png

图为猜你喜欢,根据以往的购买记录,对个人喜欢进行推荐

image.png

推荐为我们经常在电商网站看到的功能,如果是离线计算应用场景,

昨天购买的商品今天进入进行推荐

如果是流计算,当时购买,便进行推荐,所以说是快速的对数据的处理,加入购物车以后迅速的进行推荐,对于商品推荐场景而言,数据量大,计算要求快速,并需要相关算法

(2)工业大数据的应用场景

image.png

三块屏幕,左侧右侧显示当前机器指标

在现在工业,由检测机器当前状态的需求

首先这些工业需求,由机器产生的计算量比较大,数据是以事件的形式动态产品和汇报。

若某台机器出问题,未能当天得知,是无法达到要求的,所以对于工业大数据来说,数据的及时性处理要求高。

(3)监控的应用场景

image.png

以上是监控的处理界面

任何大型的项目,均要进行一些监控

如:相关 cpu 的情况,服务器的请求等

监控需要及时的,快速的反应监控结果

(4)应用场景的共同点

1. 计算速度要求高

2. 数据量都比较大

相关文章
|
数据可视化 Swift 开发者
零一万物开源Yi系列“理科状元”Yi-9B,消费级显卡可跑,魔搭社区最佳实践
零一万物发布并开源了Yi系列中的“理科状元”——Yi-9B,可在魔搭体验
|
机器学习/深度学习 自然语言处理 大数据
社交媒体的情感分析大数据模型
构建基于大数据的情感分析模型,利用Python和机器学习处理社交媒体数据。情感分析识别文本情感倾向,助力市场洞察和舆情监控。技术栈包括Python、NLP库(nltk, spaCy, TextBlob, VADER)、Scikit-learn、TensorFlow/PyTorch及大数据工具。数据收集(如Twitter API)、预处理(去除噪声、分词)、特征提取(TF-IDF、词嵌入)、模型训练(逻辑回归、BERT)是关键步骤。模型能捕捉文本情感,支持决策,随着技术进步,应用前景广阔。
1893 10
聚焦实战技能,剖析底层原理:Netty+Redis+ZooKeeper+高并发实战
移动时代、5G时代、物联网时代的大幕已经开启,它们对于高性能、高并发的开发知识和技术的要求,抬升了Java工程师的学习台阶和面试门槛。
|
Linux
深入理解Linux虚拟内存管理(四)(中)
深入理解Linux虚拟内存管理(四)
155 0
|
关系型数据库 MySQL API
Flink教程(08)- Flink批流一体API(Sink示例)
Flink教程(08)- Flink批流一体API(Sink示例)
256 0
|
2天前
|
数据采集 人工智能 安全
|
12天前
|
云安全 监控 安全
|
3天前
|
自然语言处理 API
万相 Wan2.6 全新升级发布!人人都能当导演的时代来了
通义万相2.6全新升级,支持文生图、图生视频、文生视频,打造电影级创作体验。智能分镜、角色扮演、音画同步,让创意一键成片,大众也能轻松制作高质量短视频。
1034 151
|
3天前
|
编解码 人工智能 机器人
通义万相2.6,模型使用指南
智能分镜 | 多镜头叙事 | 支持15秒视频生成 | 高品质声音生成 | 多人稳定对话