storm-kafka（storm spout作为kafka的消费端）
storm是grovvy写的
kafka是scala写的
storm-kafka storm连接kafka consumer的插件
下载地址：
https://github.com/wurstmeister/storm-kafka-0.8-plus
除了需要storm和kafka相关jar包还需要google-collections-1.0.jar
以及zookeeper相关包 cur
Spark机器学习6·聚类模型(spark-shell)
[Spark机器学习](http://book.douban.com/subject/26593179/)
- K-均值(K-mean)聚类 目的：最小化所有类簇中的方差之和
- 类簇内方差和...
IntelliJ IDEA 第一个 Scala 程序
IntelliJ 安装完成 Scala 插件后，你需要尝试使用 IntelliJ 来创建并且运行第一个程序。
通常这个程序只是简单的输出 Hello World。
创建一个新工程
在文件下面选择新建，然后选择创建工程。
【Spark Summit East 2017】Spark中的草图数据和T-Digest
本讲义出自Erik Erlandson在Spark Summit East 2017上的演讲，大型数据集的草图概率分布的算法是现代数据科学的一个基本构建块，草图在可视化、优化数据编码、估计分位数以及数据合成等不同的应用中都有应用之地，T-Digest是一个通用的的草图的数据结构，并且非常适合于map-reduce模式，演讲中演示了Scala原生的T-Digest草图算法实现并证实了其在Spark的可视化展示、分位数估计以及数据合成的作用。
Spark修炼之道（进阶篇）——Spark入门到精通：第九节 Spark SQL运行流程解析
1.整体运行流程
使用下列代码对SparkSQL流程进行分析，让大家明白LogicalPlan的几种状态，理解SparkSQL整体执行流程
// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
// this is used to implic
一篇入门 -- Scala 反射
本篇文章主要让大家理解什么是Scala的反射, 以及反射的分类, 反射的一些术语概念和一些简单的反射例子.
什么是反射
我们知道, Scala是基于JVM的语言, Scala编译器会将Scala代码编译成JVM字节码, 而JVM编译过程中会擦除一些泛型信息, 这就叫类型擦除(type-erasure ).
