# 开源大数据平台 E-MapReduce #
0
关注
1510内容
扩展Spark Catalyst，打造自定义的Spark SQL引擎
在Spark2.2版本中，引入了新的扩展点，使得用户可以在Spark session中自定义自己的parser，analyzer，optimizer以及physical planning stragegy rule。
Apache Spark 将支持 Stage 级别的资源控制和调度
我们需要对不同 Stage 设置不同的资源。但是目前的 Spark 不支持这种细粒度的资源配置，导致我们不得不在作业启动的时候设置大量的资源，从而导致资源可能浪费，特别是在机器学习的场景下。
物化视图在 SparkSQL 中的实践
物化视图作为一种预计算的优化方式，广泛应用于传统数据库中，如Oracle，MSSQL Server等。随着大数据技术的普及，各类数仓及查询引擎在业务中扮演着越来越重要的数据分析角色，而物化视图作为数据查询的加速器，将极大增强用户在数据分析工作中的使用体验。本文将基于 SparkSQL（2.4.4） + Hive （2.3.6）， 介绍物化视图在SparkSQL中的实现及应用。
EMR-StarRocks 白皮书来啦！
EMR StarRocks 白皮书免费下载，架构、功能、解决方案，全方位解读！
使用Databricks+Mlflow进行机器学习模型的训练和部署【Databricks 数据洞察公开课】
介绍如何使用Databricks和MLflow搭建机器学习生命周期管理平台，实现从数据准备、模型训练、参数和性能指标追踪、以及模型部署的全流程。
阿里云 EMR 基于 Apache DolphinScheduler 产品技术实践和社区贡献
本文整理自阿里云 EMR 数据开发团队负责人孙一凡（Evans 忆梵），在 Apache Spark & DS Meetup 的分享
免费试用