Sparkstreaming 案例-代码编写 | 学习笔记

简介: 快速学习 Sparkstreaming 案例-代码编写

开发者学堂课程【大数据Spark2020版(知识精讲与实战演练)第五阶段:Sparkstreaming 案例-代码编写】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/692/detail/12132


Sparkstreaming 案例-代码编写

内容介绍

一、编写代码准备工作

二、编写代码实际操作

 

一、编写代码准备工作与代码编写注意

在编写代码前第一步进行创建对应的包与类

首先将目录标注为 steamingwordcount,创建环境

编写 mian 方法

Def main (args:Array [string]:UNIT={

大致的步骤为

//1.初始化环境

//2.数据处理

////1.把句子拆为单词

//2.展示和启动

//3.展示和启动

首先进行第一步,初始化环境

//1.初始化环境

Val spark conf =new spark conf() setappname (“steaming word count “ )同时设定setmaster (“lacal{6}”)

Val ssc =new 此时使用 streamingcontext 接受两个参数 (sparkconf  seonds(1))需要告诉每一批大概多久,大概一秒一次

点入发现,该步骤为下载了一个 Ssc.socket textstream

如果上网即可下载,所做的事情为 Ssc.socket textstream 和 streamingcontext 的下载

image.png

创建完成

 

二、编写代码实际操作

进行编写

在数据处理前进行读取通过 ssc

Ssc.socket textstream(,接收参数

第一个参数

Hostname =“192.16/8.169.101”

查看进入窗口中,中断程序,输入 ifconfig

image.png

查看 ip,进行复制可能为其他的 ip 没关系,复制即可

第二个参数 Port=9999

第三个参数为可选择的参数,指获取数据时如何保存,一般情况下给定默认的即可

Storagelevel=storagelevel。MEMORY-AND-DISK-SER

给定后获取对象  

Val lines 给定对象的类型为 receiver inputdstream (string)

可以当成 idd 进行处理

//2.数据的处理

//1.把句子拆为单词

Val。Words=lines flatmap (。,msplit (regex=””))

//转换单词

Val tuples=words.map(~.1)

//词频 reduce

之后进行词频的统计,可以叫做 Val. Counts=tupiles reducebykey(-+-) 内部的统计逻辑把前一个和当前的统计结果相加统计总个数,接下来进行程序的运行

//3.展示和启动

使用 COUNTS.print() 并不会导致整个流的施行 ,同时加上 Ssc.start() 来进行整体流的运作

正常请情况下运行到 COUNTS.print() 整体流程便结束

//main 方法执行完毕后整个程序就会退出,所以需要阻塞主线程

Ssc.Awaitermination 为等待中断的意思,等待外部发布指令

因为需要在后台不断开启数据所以线程数必须大于 1,如果给 1 则在外部处理时则没有子线程无法操作。

相关文章
|
分布式计算 大数据 Scala
【大数据技术Hadoop+Spark】Spark RDD创建、操作及词频统计、倒排索引实战(超详细 附源码)
【大数据技术Hadoop+Spark】Spark RDD创建、操作及词频统计、倒排索引实战(超详细 附源码)
676 1
|
Java Maven
Maven项目打包成jar项目后运行报错误: 找不到或无法加载主类 Main.Main 和 jar中没有主清单属性解决方案
Maven项目打包成jar项目后运行报错误: 找不到或无法加载主类 Main.Main 和 jar中没有主清单属性解决方案
2857 0
|
2天前
|
数据采集 人工智能 安全
|
12天前
|
云安全 监控 安全
|
3天前
|
自然语言处理 API
万相 Wan2.6 全新升级发布!人人都能当导演的时代来了
通义万相2.6全新升级,支持文生图、图生视频、文生视频,打造电影级创作体验。智能分镜、角色扮演、音画同步,让创意一键成片,大众也能轻松制作高质量短视频。
1034 151
|
3天前
|
编解码 人工智能 机器人
通义万相2.6,模型使用指南
智能分镜 | 多镜头叙事 | 支持15秒视频生成 | 高品质声音生成 | 多人稳定对话
|
17天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
1726 9
|
9天前
|
人工智能 自然语言处理 API
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸
一句话生成拓扑图!next-ai-draw-io 结合 AI 与 Draw.io,通过自然语言秒出架构图,支持私有部署、免费大模型接口,彻底解放生产力,绘图效率直接爆炸。
676 152
|
11天前
|
人工智能 安全 前端开发
AgentScope Java v1.0 发布,让 Java 开发者轻松构建企业级 Agentic 应用
AgentScope 重磅发布 Java 版本,拥抱企业开发主流技术栈。
638 13