阿里云E-MapReduce团队_个人页

2021年07月

• 07.15 21:10:45
  发表了文章 2021-07-15 21:10:45

  Spark 大数据处理最佳实践

  欢迎钉钉扫描文章底部二维码进入 EMR Studio 用户交流群 直接和讲师讨论交流~ 点击该链接直接观看直播回放：https://developer.aliyun.com/live/247072

  
• 07.15 18:12:15
  发表了文章 2021-07-15 18:12:15

  数据湖实操讲解【 AI 训练加速】第十八讲：Fluid + JindoFS 对海量小文件的训练加速

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs

  
• 07.14 16:18:10
  发表了文章 2021-07-14 16:18:10

  数据湖实操讲解【 AI 训练加速】第十七讲：Fluid + JindoFS 对 HDFS 上的数据进行训练加速

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs

  
• 07.07 19:54:18
  发表了文章 2021-07-07 19:54:18

  【详谈 Delta Lake 】系列技术专题 之 客户用例（ Customer Use Case)

  本文翻译自大数据技术公司 Databricks 针对数据湖 Delta Lake 的系列技术文章。众所周知，Databricks 主导着开源大数据社区 Apache Spark、Delta Lake 以及 ML Flow 等众多热门技术，而 Delta Lake 作为数据湖核心存储引擎方案给企业带来诸多的优势。本系列技术文章，将详细展开介绍 Delta Lake。

  
• 07.07 16:32:01
  发表了文章 2021-07-07 16:32:01

  数据湖实操讲解【AI 训练加速】第十六讲：Fluid + JindoFS 对 OSS 上数据进行训练加速

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs

  
• 07.04 18:23:53
  发表了文章 2021-07-04 18:23:53

  【详谈 Delta Lake 】系列技术专题 之 Streaming（流式计算）

  本文翻译自大数据技术公司 Databricks 针对数据湖 Delta Lake 的系列技术文章。众所周知，Databricks 主导着开源大数据社区 Apache Spark、Delta Lake 以及 ML Flow 等众多热门技术，而 Delta Lake 作为数据湖核心存储引擎方案给企业带来诸多的优势。本系列技术文章，将详细展开介绍 Delta Lake。

  
• 07.02 17:17:34
  发表了文章 2021-07-02 17:17:34

  数据湖实操讲解【JindoFS 缓存加速】第十五讲：云上计算云下数据：HDFS 缓存加速

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs

  
• 07.01 18:24:50
  发表了文章 2021-07-01 18:24:50

  数据湖实操讲解【JindoFS 缓存加速】第十四讲：指定表和分区来预先缓存，查询分析更高效

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs

  

2021年06月

• 06.29 18:03:41
  发表了文章 2021-06-29 18:03:41

  【详谈 Delta Lake 】系列技术专题 之 湖仓一体（ Lakehouse ）

  本文翻译自大数据技术公司 Databricks 针对数据湖 Delta Lake 的系列技术文章。众所周知，Databricks 主导着开源大数据社区 Apache Spark、Delta Lake 以及 ML Flow 等众多热门技术，而 Delta Lake 作为数据湖核心存储引擎方案给企业带来诸多的优势。本系列技术文章，将详细展开介绍 Delta Lake。

  
• 06.28 16:53:52
  发表了文章 2021-06-28 16:53:52

  【详谈 Delta Lake 】系列技术专题 之 特性（Features）

  本文翻译自大数据技术公司 Databricks 针对数据湖 Delta Lake 的系列技术文章。众所周知，Databricks 主导着开源大数据社区 Apache Spark、Delta Lake 以及 ML Flow 等众多热门技术，而 Delta Lake 作为数据湖核心存储引擎方案给企业带来诸多的优势。本系列技术文章，将详细展开介绍 Delta Lake。

  
• 06.24 21:31:52
  发表了文章 2021-06-24 21:31:52

  数据湖实操讲解【JindoFS 缓存加速】第十三讲：Presto 访问 OSS 透明缓存加速

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs

  
• 06.23 21:37:29
  发表了文章 2021-06-23 21:37:29

  数据湖实操讲解【JindoFS 缓存加速】第十二讲：Spark 访问 OSS 透明缓存加速

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs

  
• 06.15 17:59:43
  发表了文章 2021-06-15 17:59:43

  数据湖实操讲解【OSS 访问加速】第十一讲：打开 OSS 多版本-合规和分析两不误

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs

  
• 06.10 17:06:25
  发表了文章 2021-06-10 17:06:25

  【详谈 Delta Lake 】系列技术专题 之 基础和性能（Fundamentals and Performance）

  本文翻译自大数据技术公司 Databricks 针对数据湖 Delta Lake 的系列技术文章。众所周知，Databricks 主导着开源大数据社区 Apache Spark、Delta Lake 以及 ML Flow 等众多热门技术，而 Delta Lake 作为数据湖核心存储引擎方案给企业带来诸多的优势。本系列技术文章，将详细展开介绍 Delta Lake。

  
• 06.10 13:35:12
  发表了文章 2021-06-10 13:35:12

  数据湖实操讲解【OSS 访问加速】第十讲：Impala 如何高效查询 OSS 数据

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs

  
• 06.10 12:47:17
  发表了文章 2021-06-10 12:47:17

  数据湖实操讲解【OSS 访问加速】第九讲：Presto 如何高效查询 OSS 数据

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs

  
• 06.08 18:35:17
  发表了文章 2021-06-08 18:35:17

  【月刊】E-MapReduce 2021-04/05 产品月刊

  4-5月 E-MapReduce 上线EMR-3.35.x版本、EMR-4.9.x版本，同步对SmartData 3.5.x版本进行更新；客户实践案例发表《Databricks 数据洞察 Delta Lake 在基智科技（STEPONE）的应用实践》与《Databricks数据洞察在美的暖通与楼宇的应用实践》；【数据湖 JindoFS+OSS 实操干货36讲】 公开课重磅上线。欢迎持续关注更多精彩内容！

  
• 06.08 14:58:49
  发表了文章 2021-06-08 14:58:49

  StarLake：汇量科技云原生数据湖的探索和实践

  快速了解汇量科技在云原生数据湖领域的探索和实践，详解 StarLake 的架构及业务应用案例。

  
• 06.04 15:49:15
  发表了文章 2021-06-04 15:49:15

  阿里大数据云原生化实践，EMR Spark on ACK 产品介绍

  欢迎钉钉扫描文章底部二维码进入 EMR钉钉交流群 直接和讲师讨论交流~ 点击该链接直接观看直播回放：https://developer.aliyun.com/live/246868

  
• 06.03 19:33:32
  发表了文章 2021-06-03 19:33:32

  云原生数据湖构建、分析与开发治理最佳实践及案例分享

  什么是数据湖？又如何对对数据湖进行分析与开发治理？本文深入浅出的介绍了云原生数据湖构建、分析与开发治理最佳实践及案例分享。

  
• 06.03 12:14:18
  发表了文章 2021-06-03 12:14:18

  数据湖实操讲解【OSS 访问加速】第八讲：Flume 高效写入 OSS

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs

  
• 06.03 11:34:44
  发表了文章 2021-06-03 11:34:44

  数据湖实操讲解【OSS 访问加速】第七讲：Flink 高效 sink 写入 OSS

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs

  
• 06.01 14:42:39
  发表了文章 2021-06-01 14:42:39

  【实践案例】Databricks 数据洞察在美的暖通与楼宇的应用实践

  获取更详细的 Databricks 数据洞察相关信息，可至产品详情页查看：https://www.aliyun.com/product/bigdata/spark

  

2021年05月

• 05.26 16:17:37
  发表了文章 2021-05-26 16:17:37

  数据湖实操讲解【OSS 访问加速】第六讲：Hadoop/Spark 访问 OSS 加速

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs

  
• 05.26 15:51:07
  发表了文章 2021-05-26 15:51:07

  数据湖实操讲解【OSS 访问加速】第五讲：访问 OSS 这类对象存储最快的方式 - JindoFS SDK

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs

  
• 05.26 11:14:09
  发表了文章 2021-05-26 11:14:09

  实践体验的机会来了！产品免费体验活动——“基于EMR进行离线大数据分析”

  听再多公开课，不如免费实操体验一把！

  
• 05.24 17:06:49
  发表了文章 2021-05-24 17:06:49

  超详攻略！Databricks 数据洞察 - 企业级全托管 Spark 大数据分析平台及案例分析

  5分钟读懂 Databricks 数据洞察 ~ 更多详细信息可登录 Databricks 数据洞察 产品链接：https://www.aliyun.com/product/bigdata/spark（当前产品提供￥599首购试用活动，欢迎试用！）

  
• 05.19 15:21:51
  发表了文章 2021-05-19 15:21:51

  数据湖实操讲解【数据迁移】第四讲：如何将 Hive 数据按分区归档到 OSS

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindo_distcp/jindo_distcp_overview.md

  
• 05.19 14:59:13
  发表了文章 2021-05-19 14:59:13

  数据湖实操讲解【数据迁移】第三讲：如何将 HDFS 海量文件归档到OSS

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindo_distcp/jindo_distcp_overview.md

  
• 05.17 16:38:37
  发表了文章 2021-05-17 16:38:37

  【阿里云EMR实战篇】以EMR测试集群版本为例，详解 Flink SQL Client 集成 Hive 使用步骤

  以测试集群版本为例（EMR-4.4.1）—— Flink SQL Client 集成 Hive 使用文档

  
• 05.13 13:58:16
  发表了文章 2021-05-13 13:58:16

  数据湖实操讲解【数据迁移】第二讲：数据无忧 - 利用 checksum 迁移 HDFS 数据到 OSS

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindo_distcp/jindo_distcp_overview.md

  
• 05.13 12:54:19
  发表了文章 2021-05-13 12:54:19

  【实践案例】Databricks 数据洞察 Delta Lake 在基智科技（STEPONE）的应用实践

  获取更详细的 Databricks 数据洞察相关信息，可至产品详情页查看：https://www.aliyun.com/product/bigdata/spark

  
• 05.12 14:46:05
  发表了文章 2021-05-12 14:46:05

  数据湖实操讲解【数据迁移】第一讲：高效迁移 HDFS 海量文件到 OSS

  数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！扫文章底部二维码入钉群，线上准时观看~

  
• 05.08 17:57:51
  发表了文章 2021-05-08 17:57:51

  干货满满！【数据湖 JindoFS+OSS 实操干货36讲】 直播预告来袭！

  扫描海报上的钉钉群二维码入群，线上观看直播，每周二16：00 准时开播！

  

2021年04月

• 04.30 15:48:01
  发表了文章 2021-04-30 15:48:01

  一篇看懂！MLSQL 是如何作为一个可编程的 SQL 语言的？

  重点讲解 MLSQL 的一些语法特性，通过这些特性的覆盖，我们可以看到 MLSQL 是怎么作为一个可编程的 SQL 语言的。

  

2021年02月

• 02.26 18:52:37
  发表了文章 2021-02-26 18:52:37

  Delta Lake在Soul的应用实践

  传统离线数仓模式下，日志入库前首要阶段便是ETL，我们面临如下问题：天级ETL任务耗时久，影响下游依赖的产出时间；凌晨占用资源庞大，任务高峰期抢占大量集群资源；ETL任务稳定性不佳且出错需凌晨解决、影响范围大。为了解决天级ETL逐渐尖锐的问题，所以这次我们选择了近来逐渐进入大家视野的数据湖架构，基于阿里云EMR的Delta Lake，我们进一步打造优化实时数仓结构，提升部分业务指标实时性，满足更多更实时的业务需求。

  
• 02.25 14:13:52
  发表了文章 2021-02-25 14:13:52

  阿里云EMR实习生招聘

  阿里云EMR团队等你来加盟

  
• 02.07 13:20:54
  发表了文章 2021-02-07 13:20:54

  数禾云上数据湖最佳实践

  数禾科技从成立伊始就组建了大数据团队并搭建了大数据平台。并在ECS上搭建了自己的Cloudera Hadoop集群。但随着公司互联网金融业务的快速扩张发展，大数据团队承担的责任也越来越重，实时数仓需求，日志分析需求，即席查询需求，数据分析需求等，每个业务提出的需求都极大的考验这个Cloudera Hadoop集群的能力。为了减轻Cloudera集群的压力，我们结合自身业务情况，在阿里云上落地一个适合数禾当前现实状况的数据湖。

  
• 02.07 13:19:22
  发表了文章 2021-02-07 13:19:22

  拥抱云原生，Fluid结合JindoFS ：阿里云OSS加速利器

  Fluid 是一个开源的 Kubernetes 原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用。在 Fluid 上使用和部署 JindoRuntime 实现数据集的可见性、弹性伸缩、数据迁移、计算加速等，并流程简单、兼容原生 k8s 环境、可以开箱即用。同时深度结合对象存储特性，使用navite框架优化性能，并支持免密、checksum校验等云上数据安全功能。

  
• 02.07 13:18:06
  发表了文章 2021-02-07 13:18:06

  10亿+文件数压测，阿里云JindoFS轻松应对

  Apache Hadoop FileSystem (HDFS) 是被广为使用的大数据存储方案，其核心元数据服务 NameNode 将全部元数据存放在内存中，因此所能承载的元数据规模受限于内存，单个实例所能支撑的文件个数大约 4亿。JindoFS块模式是阿里云基于 OSS 海量存储自研的一个存储优化系统，提供了高效的数据读写加速能力和元数据优化能力。JindoFS 实际表现如何，我们在 10亿文件数规模下做了压测，验证 JindoFS 在达到这个规模的时候是否还可以保持稳定的性能。

  
• 02.04 19:08:45
  发表了文章 2021-02-04 19:08:45

  10亿+文件数压测，阿里云JindoFS轻松应对

  Apache Hadoop FileSystem (HDFS) 是被广为使用的大数据存储方案，其核心元数据服务 NameNode 将全部元数据存放在内存中，因此所能承载的元数据规模受限于内存，单个实例所能支撑的文件个数大约 4亿。JindoFS块模式是阿里云基于 OSS 海量存储自研的一个存储优化系统，提供了高效的数据读写加速能力和元数据优化能力。JindoFS 实际表现如何，我们在 10亿文件数规模下做了压测，验证 JindoFS 在达到这个规模的时候是否还可以保持稳定的性能。

  
• 02.02 17:45:53
  发表了文章 2021-02-02 17:45:53

  拥抱云原生，Fluid结合JindoFS ：阿里云OSS加速利器

  Fluid 是一个开源的 Kubernetes 原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用。在 Fluid 上使用和部署 JindoRuntime 实现数据集的可见性、弹性伸缩、数据迁移、计算加速等，并流程简单、兼容原生 k8s 环境、可以开箱即用。同时深度结合对象存储特性，使用navite框架优化性能，并支持免密、checksum校验等云上数据安全功能。

  
• 02.01 19:09:29
  发表了文章 2021-02-01 19:09:29

  E-MapReduce 2021-01 产品月刊

  1月份 E-MapReduce 上线EMR-3.33.x版本、EMR-4.6.x版，同步对SmartData 3.2.x版本进行更新；客户案例出新，《数禾云上数据湖最佳实践》和《阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践》；最佳实践视频《EMR弹性低成本大数据分析最佳实践》，欢迎大家观看。

  

2021年01月

• 01.18 23:52:12
  发表了文章 2021-01-18 23:52:12

  数禾云上数据湖最佳实践

  数禾科技从成立伊始就组建了大数据团队并搭建了大数据平台。并在ECS上搭建了自己的Cloudera Hadoop集群。但随着公司互联网金融业务的快速扩张发展，大数据团队承担的责任也越来越重，实时数仓需求，日志分析需求，即席查询需求，数据分析需求等，每个业务提出的需求都极大的考验这个Cloudera Hadoop集群的能力。为了减轻Cloudera集群的压力，我们结合自身业务情况，在阿里云上落地一个适合数禾当前现实状况的数据湖。

  
• 01.13 22:35:09
  发表了文章 2021-01-13 22:35:09

  阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践

  为了消灭数据孤岛，企业往往会把各个组织的数据都接入到数据湖以提供统一的查询或分析。本文将介绍流利说当前数据接入的整个过程，期间遇到的挑战，以及delta在数据接入中产生的价值。

  

2020年12月

• 12.25 15:54:23
  发表了文章 2020-12-25 15:54:23

  大数据和AI | 基于Spark的高性能向量化查询引擎

  由阿里云策划并成功举办的BigData和AI 见面会2020第二季在上海落下帷幕。在此次见面会上，几位业界大咖分别分享了有关大数据和AI的见解、洞察和领先技术等内容。本篇内容是由开源界知名的Databricks公司的技术主管范文臣分享的关于《基于Spark的高性能向量化查询引擎》。

  
• 12.01 17:44:02
  发表了文章 2020-12-01 17:44:02

  2020收官行—BIGDATA + AI Meetup 2020第三站·北京站开启报名！

  始于开源，精于实践，作为2020年收官之战，本次 Meetup 又将让大数据和 AI 擦出怎样的技术花火？开源届冉冉升起的新星和风光无限的老将们将会用哪些精彩案例作为年度收尾？来自阿里云、滴滴出行、微博、Databricks、汇量科技、 Zilliz 等知名企业的技术大咖将以实践案例深度解读大数据+AI的现在与未来。落地到出行、应用于医疗、服务在社交媒体，我们从声音、影像、图片、数字···交织的信息巨网中撕出一道道出口，透出属于大数据人的科技之光。