Spark学习之编程进阶——累加器与广播(5)
Spark学习之编程进阶——累加器与广播(5)
1. Spark中两种类型的共享变量:累加器(accumulator)与广播变量(broadcast variable)。累加器对信息进行聚合,而广播变量用来高效分发较大的对象。
2. 共享变量是一种可以在Spark任务中使用的特殊类型的变量。
3. 累加器的用法:
通过在驱动器中调用SparkContex
话说模式匹配(1) 什么是模式?
一些刚从java转到scala的同学在开发的过程中犹如深陷沼泽,因为很多的概念或风格不确定,scala里有很多的坑,模式匹配也算一个。我整理了一下自己所理解的概念,以及一些例子。这个系列最好有些scala的基本经验,或者接触过一些其他函数式语言。
Java8 Lambda表达式.md
为了支持函数式编程,Java 8引入了Lambda表达式.
在Java 8中采用的是内部类来实现Lambda表达式.具体实现代码,可以通过debug看, 同时通过字节码查看工具及反编译工具来验证.
自从lambda表达式成为Java语言的一部分之后,Java集合(Collections)API就面临着大幅变化。