# 开源大数据平台 E-MapReduce #
0
关注
1510内容
扩展Spark Catalyst，打造自定义的Spark SQL引擎
在Spark2.2版本中，引入了新的扩展点，使得用户可以在Spark session中自定义自己的parser，analyzer，optimizer以及physical planning stragegy rule。
搭建Gateway向E-MapReduce集群提交作业
搭建Gateway向E-MapReduce集群提交作业
Apache Spark Meetup China 第1期 最全资料下载
活动时间：2018年12月16日13:30-17:00
活动地点：杭州市余杭区文一西路998号未来科技城海创园4幢801C
主办单位：阿里云、袋鼠云、云栖社区
主题介绍：
主题一、Spark优化实践-13：30 - 14：30阿里云E-MapReduce-王道远介绍阿里云EMR中Spark计算引擎所包含的一系列额外优化工作，包括SmartShuffle、file skip index等。
[转载] 是时候学习真正的 spark 技术了
spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， spark streaming 维护的也不积极了， 我们基于 spark 来构建大数据计算任务，重心也要...
2019杭州云栖大会回顾之Spark Relational Cache实现亚秒级响应的交互式分析
本文来自2019杭州云栖大会大数据生态专场中的分享《Spark Relational Cache实现亚秒级响应的交互式分析》
使用Relational Cache加速EMR Spark数据分析
Relational Cache的强大功能赋予了Spark更多的可能，通过Relational Cache，用户可以提前将任意关系型数据（Table/View/Dataset）cache到任意Spark支持的DataSource中，并支持灵活的cache数据组织方式，基于此，Relational Cache可以在诸多应用场景中帮助用户加速Spark数据分析。
E-MapReduce集群脚本-包年包月集群修改软件环境的利器
集群，特别是包年报月集群，在使用过程中，可能会有新的安装第三方软件，修改集群运行环境的需求。
E-MapReduce控制台1.5.0版本提供了集群脚本的功能，可以在集群创建好后批量选择节点，运行您指定的脚本，以实现个性化的需求。
Apache Spark中国技术交流群升级到企业群啦！！！！！！
普通群容量已满足不了Spark群众日益增长的热情，因此我们做了一个重要的决定，将全部群成员转移到企业群
[转载] Spark Streaming 设计原理
最近两年流式计算又开始逐渐火了起来，说到流式计算主要分两种：continuous-based 和 micro-batch。最近在使用基于 micro-batch 模式的 Spark Streaming，正好结合论文介绍一下。
【译】SQL Pivot介绍
本文介绍SQL Pivot以及如何使用该功能
免费试用