Spark的调优是面试或者笔试考察的重点：总结下
1.开发调优：
原则一：避免创建重复的RDD。
原则二：尽可能复用同一个RDD。
原则三：对多次使用的RDD进行持久化。
原则四：尽量避免使用shuffle类算子 。
原则五：使用map-side预聚合的shuffle操作。
原则六：使用高性能的算子
原则七：广播大变量。
原则八：使用Kryo优化序列化性能。
原则九：优化数据结构。
原则十：对数据进行压缩。
原则十一：合并小文件。
【Spark 调优】Spark 开发调优的十大原则
2022-06-11
207
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
【Spark 调优】Spark 开发调优的十大原则
目录
相关文章
|
4月前
|
SQL
分布式计算
DataWorks
DataWorks产品使用合集之如何开发ODPS Spark任务
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
84
2
2
|
7月前
|
分布式计算
Java
数据库连接
|
7月前
|
SQL
分布式计算
大数据
|
7月前
|
SQL
机器学习/深度学习
分布式计算
|
7月前
|
资源调度
大数据
Java
|
7月前
|
消息中间件
分布式计算
大数据
|
7月前
|
分布式计算
大数据
Linux
|
7月前
|
分布式计算
资源调度
大数据
大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day30】——Spark数据调优(文末附完整文档)
大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day30】——Spark数据调优(文末附完整文档)
108
0
0
|
7月前
|
存储
消息中间件
分布式计算
大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day28】——Spark15+数据倾斜1
大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day28】——Spark15+数据倾斜1
61
0
0
|
7月前
|
存储
分布式计算
大数据
热门文章
最新文章
1
[Spark][Python]Spark Python 索引页
2
Spark Master启动源码分析
3
Spark-spark streaming
4
Spark PruneDependency 依赖关系 RangePartitioner
5
spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
6
Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
7
10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
8
【Flink】Flink跟Spark Streaming的区别？
9
Spark本地环境搭建（local模式）
10
利用闪存优化在Cosco基础上的Spark Shuffle
1
DAG（有向无环图）在Spark中的应用
460
2
scala-spark中的groupby、like等的用法
246
3
spark执行sql的原理是什么
134
4
容器服务Kubernetes版产品使用合集之怎么实现把 spark 跑在k8s
91
5
spark用于分析数据并将数据保存到数据库中是
75
6
数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
95
7
如何解决Spark在深度学习中的资源消耗问题？
91
8
Spark在深度学习中的优缺点是什么？
255
9
使用Spark进行机器学习
79
10
Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
140