在CloudEdge中，通过ES实践解决ElasticLog产品问题
2018 Elastic Meetup南京交流会，由赵伟带来以“ElasticLog with ES in CloudEdge”为题的演讲。本文首先介绍了CloudEdge与ElasticLog是什么，其次介绍了产品的构架图以及ES的作用，最后介绍了ES在实践过程中需要设计Index、分配Shard、快速将Spark里数据写入ES中和数据去重。
Hadoop summit 2015 实时计算
有幸参加了6月9号到6月11号在圣何塞举办Hadoop summit 2015，主要关注了实时计算相关的topic。
本次参会的主要感受是：实时处理成为各个公司的标配,OLAP是基本需求。
下面我主要分享如下三个议题：
实时计算框架（主要是storm，spark主题太少，涉及实时计算的基本没有
spark submit参数及调优
spark submit参数介绍你可以通过spark-submit --help或者spark-shell --help来查看这些参数。使用格式: ./bin/spark-submit \ --class \ --master \ --deploy-mode \ --conf = \ .
Spark的那些外部框架
Spark社区提供了大量的框架和库。其规模及数量都还在不断增加。本文我们将介绍不包含在Spark核心源代码库的各种外部框架。Spark试图解决的问题涵盖的面很广，跨越了很多不同领域，使用这些框架能帮助降低初始开发成本，充分利用开发人员已有的知识。
