machongmc
machongmc_个人页
machongmc
文章
2
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
-
发表了文章 2016-11-24
Spark计算过程分析
### 基本概念 ---------- Spark是一个分布式的内存计算框架，其特点是能处理大规模数据，计算速度快。Spark延续了Hadoop的MapReduce计算模型，相比之下Spark的计算过程保持在内存中，减少了硬盘读写，能够将多个操作进行合并后计算，因此提升了计算速度。同时Spark也提供了更丰富的计算API。 MapReduce是Hadoop和Spark的计算模型，其特点
-
发表了文章 2016-11-24
Spark调优经验总结
### 概述 ---------- 本文以Spark实践经验和Spark原理为依据，总结了Spark性能调优的一些方法。这些总结基于Spark-1.0.0版本。对于最近推出的Spark-1.1.0版本，本文介绍了几个版本增强。 ---------- ### Spark性能调优 ---------- #### Executor和分区 ---------- Executor是一个独
暂无更多信息
暂无更多信息
暂无更多信息