# 开源大数据平台 E-MapReduce #
0
关注
1509内容
2019年Apache Spark技术交流社区原创文章回顾
整理了这一年分享过的来自诸多专家的实践经验，希望2020年我们仍然能够互相支持，壮大Spark社区。
SQL 查询的分布式执行与调度
OLAP 是大数据分析应用非常重要的组成部分。这篇文章是介绍 OLAP 任务在并发/分布式环境下执行和调度的算法和模型的。我们将从最简单的 Volcano 模型开始讲起，逐步引出分布式环境下执行 OLAP 查询操作的一些挑战和经典的解决方案。
深度学习技术在自动驾驶中的应用与挑战
深度学习技术经过近几年井喷式的发展，在很多领域都得到了广泛的应用。在自动驾驶系统中，深度学习技术也起到了至关重要的作用，同时也面临着非常多的挑战。我们一直在探索，在一个安全、稳定的自动驾驶产品中，深度学习技术应该有着怎样的作用边界，又如何能最好地发挥其优势。本次分享的主题为深度学习技术在自动驾驶中的应用与挑战，
关于云原生分布式计算和存储引擎JindoFS，看这一篇就够了
本文集合了JindoFS相关的文章介绍和视频链接。
EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework
SparkSQL多年来的性能优化集中在Optimizer和Runtime两个领域。前者的目的是为了获得最优的执行计划，后者的目的是针对既定的计划尽可能执行的更快。
Spark 10年，作者 Matei 在 Spark + AI Summit 2020 上深情回顾，Photon 引擎首次曝光
在Spark + AI Summit 2020上， Matei 先生的keynote对 Spark 10 年做了非常精彩的演讲和深情的回顾。SparkSQL 重回巅峰，在性能上大幅超越 Presto。在过去几年，我们见过了太多的 benchmark，大家都在纷纷超越 Spark。Spark 3.0 这一进展可以说大大提振了大家对 Spark 的信心，可谓及时雨。
再出王牌：阿里云 Jindo DistCp 全面开放使用，成为阿里云数据迁移利器
此前 Jindo DistCp 仅限于E-MapReduce产品内部使用，此次全方位面向整个阿里云OSS/HDFS用户放开，并提供官方维护和支持技术，欢迎广大用户集成和使用。
官宣！阿里云重磅发布云原生数据湖体系
介绍如何基于阿里云 OSS 、JindoFS 和数据湖构建（Data Lake Formation，DLF）等基础服务，同时结合阿里云上丰富的计算引擎，打造一个全新云原生数据湖体系。
降本增效利器！趣头条Spark Remote Shuffle Service最佳实践
趣头条是一家依赖大数据的科技公司，在2018-2019年经历了业务的高速发展，主App和其他创新App的日活增加了10倍以上，相应的大数据系统也从最初的100台机器增加到了千台规模。面对业务和数据的日益增长，如何优化大数据平台，真正实现降本增效，技术人也面临着非常大的挑战，近半年趣头条和阿里云一起合作，通过Spark Remote Shuffle Service取得了较大的进展，在这里大家可以更加详细地了解这套方案。
【详谈 Delta Lake 】系列技术专题 之 基础和性能（Fundamentals and Performance）
本文翻译自大数据技术公司 Databricks 针对数据湖 Delta Lake 的系列技术文章。众所周知，Databricks 主导着开源大数据社区 Apache Spark、Delta Lake 以及 ML Flow 等众多热门技术，而 Delta Lake 作为数据湖核心存储引擎方案给企业带来诸多的优势。本系列技术文章，将详细展开介绍 Delta Lake。
免费试用