# 开源大数据平台 E-MapReduce #
0
关注
1508内容
阿里云E-MapReduce节点优雅下线-基于Yarn Node Labels特性
背景：阿里云E-MapReduce集群（简称EMR集群）部分节点需要下线迁移，但集群资源常年跑满，诉求是节点下线迁移过程中不影响任一任务执行。
本次方案基于Yarn Node Labels的特性进行资源隔离后下线。
下期对官网Graceful Decommission of YARN Nodes的方案进行验证，参考：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/GracefulDecommission.html。
阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse
Apache Paimon 和 Apache Hudi 作为数据湖存储格式，有着高吞吐的写入和低延迟的查询性能，是构建数据湖的常用组件。本文在阿里云EMR上，针对数据实时入湖场景，对 Paimon 和 Hudi 的性能进行比对，并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。
Delta Lake，让你从复杂的Lambda架构中解放出来
Linux 基金会的 Delta Lake（Delta.io）是一个给数据湖提供可靠性的开源存储层软件。在 QCon 全球软件开发大会（上海站）2019 的演讲中，Databricks 公司的 Engineering Manager 李潇带我们了解了 Delta Lake 在实际生产中的应用与实践以及未来项目规划，本文便整理自此次演讲。
SparkSQL DatasourceV2 之 Multiple Catalog
SparkSQL DatasourceV2作为Spark2.3引入的特性，在Spark 3.0 preview(2019/12/23)版本中又有了新的改进以更好的支持各类数据源。本文将从catalog角度，介绍新的数据源如何和Spark DatasourceV2进行集成。
5月14日Apache Spark中国社区技术直播【Analytics Zoo上的分布式TensorFlow训练AI玩FIFA足球游戏】
近年来，由于对通用人工智能研究的潜在价值，训练AI玩游戏一直是一个火热的研究领域。FIFA实时视频游戏场景复杂，需要结合图像，强化学习等多种不同的AI技术，同时也要求agents响应有实时性，因此是一个非常好的试验场，可以用来探索不同类型的AI技术。本次分享主要介绍我们在训练AI玩FIFA视频游戏方面的一些工作。
Delta Lake 如何帮助云用户解决数据实时入库问题
Delta Lake 自发布以来得到了业界广泛的关注，其提供的 ACID 支持、历史版本回溯、UPDATE/DELETE/MERGE INTO 语法支持等功能完美契合了用户对数据湖内容管理的需求；其 Multi-Hop 架构
的流批一体设计极大简化了用户运维数据管道的成本，使得传统的 ETL 流程进化为更灵活的 ELT+ 流程。
在本次演讲中，我们将分享 EMR 是如何利用 Delta Lake 帮助用户解决数据实时入库的问题，以及在这个过程中我们对 Delta Lake 做了哪些有益的提升和探索。
重磅下载！首次揭秘如何构建阿里云云原生数据湖体系
《阿里云云原生数据湖体系全解读》涵盖数据湖存储、加速、构建、计算、治理，一站搭建全新云原生数据湖体系，完成企业大数据架构转型。速度下载收藏！
超详攻略！Databricks 数据洞察 - 企业级全托管 Spark 大数据分析平台及案例分析
5分钟读懂 Databricks 数据洞察 ~ 更多详细信息可登录 Databricks 数据洞察 产品链接：https://www.aliyun.com/product/bigdata/spark（当前产品提供￥599首购试用活动，欢迎试用！）
重磅发布！阿里云全链路数据湖开发治理解决方案
阿里云重磅发布全链路数据湖解决方案，主要包含开源大数据平台E-MapReduce(EMR) + 一站式大数据数据开发治理平台DataWorks + 数据湖构建DLF + 对象存储OSS等核心产品。
数据湖统一元数据与权限
本文整理自阿里云数据湖构建与分析研发熊佳树在7月17日阿里云数据湖技术专场交流会的分享。
免费试用