RDD 算子_ Action _总结 | 学习笔记

简介: 快速学习 RDD 算子_ Action _总结

开发者学堂课程【大数据Spark2020最新课程(知识精讲与实战演练)第二阶段RDD 算子_ Action _总结学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/689/detail/11984


RDD 算子_ Action _总结


内容介绍

一、前言

二、总结


一、前言

我们了解 RDD 如何使用,其实就是了解它的各种算子。前面的学习中介绍了转换算子和部分Action 算子。


二、总结

第一个介绍的 Action 算子是 reduce ,并把它与 reduceByKey 来进行了对比,也是有一点点难度的算子。

介绍了一个辅助算子,叫做 foreach ,可以直接针对 RDD 进行

foreach foreach 后的数据顺序会发生改变,因为整个运算过程是

并行的。

后面又介绍了 count countByKey ,它们都是求总数的,一个是求整个数据集的总数,一个是按照 Key 求总数。 countByKey 经常用于查看数据倾斜。

最后了解了 take takeSample first 三个算子,它们也是用于

Action 直接获取数据。 takeSample Sample 最大的区别是,

takeSample 直接可以获取结果, Sample 则需要转换,然后进行

Action 获取结果。

take 可以直接获取数据, first 获取第一个数据。

但是 first 跟其他算子不一样,它直接去找第一个分区,获取一个数据

即可,获取速度相当快。

这是整个 Action 部分的算子,至此,整个 Action 操作的内容就到此结束了。

相关文章
|
3天前
|
数据采集 人工智能 安全
|
13天前
|
云安全 监控 安全
|
4天前
|
自然语言处理 API
万相 Wan2.6 全新升级发布!人人都能当导演的时代来了
通义万相2.6全新升级,支持文生图、图生视频、文生视频,打造电影级创作体验。智能分镜、角色扮演、音画同步,让创意一键成片,大众也能轻松制作高质量短视频。
1089 152
|
18天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
1753 9
|
9天前
|
人工智能 自然语言处理 API
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸
一句话生成拓扑图!next-ai-draw-io 结合 AI 与 Draw.io,通过自然语言秒出架构图,支持私有部署、免费大模型接口,彻底解放生产力,绘图效率直接爆炸。
695 152
|
11天前
|
人工智能 安全 前端开发
AgentScope Java v1.0 发布,让 Java 开发者轻松构建企业级 Agentic 应用
AgentScope 重磅发布 Java 版本,拥抱企业开发主流技术栈。
660 14
|
6天前
|
SQL 自然语言处理 调度
Agent Skills 的一次工程实践
**本文采用 Agent Skills 实现整体智能体**,开发框架采用 AgentScope,模型使用 **qwen3-max**。Agent Skills 是 Anthropic 新推出的一种有别于mcp server的一种开发方式,用于为 AI **引入可共享的专业技能**。经验封装到**可发现、可复用的能力单元**中,每个技能以文件夹形式存在,包含特定任务的指导性说明(SKILL.md 文件)、脚本代码和资源等 。大模型可以根据需要动态加载这些技能,从而扩展自身的功能。目前不少国内外的一些框架也开始支持此种的开发方式,详细介绍如下。
446 5