RDD 算子_数字型的支持 | 学习笔记

简介: 快速学习 RDD 算子_数字型的支持

开发者学堂课程【大数据Spark2020最新课程(知识精讲与实战演练)第二阶段RDD 算子_数字型的支持学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/689/detail/11986


RDD 算子_数字型的支持


内容介绍

一、前言

二、实例讲解


一、前言

前面简单了解了 RDD KV 类型数据的支持,其实 RDD 对数字型数据也有额外的支持。 count 是进行一个数的计算, count 也存在普通类型的数据上。 count mean sum max min variancesampleVariance stdev sampleStdev ,这些算子都是对数字类型的特殊支持。


二、实例讲解

接下来通过本节内容,让大家理解对数字类型的特殊计算。让我们进入代码编写。前面提到的算子,它们有一个共同的特点,它们都是 Action ,所以把它们放在 ActionO p 类中。

创建方法,创建 RDD ,确定元素,求最大值、最小值、均值、总数,Spark 有一个缺陷,即没有求中位数的算法。然后运行程序,查看结果。具体代码如下:

@Test

def numberic(): Unit = {

val rdd = sc.parallelize(Seq(1,2,3,4,10,20,30,50,100))

println(rdd.max())

println(rdd.min())

println(rdd.mean())

println(rdd.sum())

}

这是整个 Spark 对数字类型的特殊支持,其实有一点需要大家注意,这些支持不止举例的这几种,还有其他的操作也是,比如说 Spark 还支持求方差、标准差等计算。

另外,这些对数字类型的支持都是 Action ,是可以直接求出结果的。

相关文章
three.js的3D模型渲染主要构成
three.js的3D模型渲染主要构成
347 0
|
传感器 前端开发 安全
前端前沿技术之webAR
随着用户体验的升级和技术的进步,浏览器中涌现了越来越多的技术。前端也从十年前网页中的纯HTML和CSS技术开始涵盖到服务端、移动端的领域。
3023 0
前端前沿技术之webAR
|
3天前
|
数据采集 人工智能 安全
|
13天前
|
云安全 监控 安全
|
4天前
|
自然语言处理 API
万相 Wan2.6 全新升级发布!人人都能当导演的时代来了
通义万相2.6全新升级,支持文生图、图生视频、文生视频,打造电影级创作体验。智能分镜、角色扮演、音画同步,让创意一键成片,大众也能轻松制作高质量短视频。
1089 152
|
18天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
1752 9
|
9天前
|
人工智能 自然语言处理 API
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸
一句话生成拓扑图!next-ai-draw-io 结合 AI 与 Draw.io,通过自然语言秒出架构图,支持私有部署、免费大模型接口,彻底解放生产力,绘图效率直接爆炸。
695 152
|
11天前
|
人工智能 安全 前端开发
AgentScope Java v1.0 发布,让 Java 开发者轻松构建企业级 Agentic 应用
AgentScope 重磅发布 Java 版本,拥抱企业开发主流技术栈。
660 14