开源大数据EMR
开源大数据EMR_个人页
开源大数据EMR
文章
261
问答
74
视频
0
个人介绍
暂无个人介绍
擅长的技术
- Java
- Python
- 前端开发
- Linux
- 数据库
-
发表了文章 2019-10-24
节日快乐！！！
“我们的未来该有多酷”
-
发表了文章 2019-10-23
E-MapReduce 4.0产品新特性
E-MapReduce是运行在阿里云平台上的一大数据处理的系统解决方案。在2019年10月，阿里巴巴将发布EMR4.0版本。本篇介绍EMR4.0的新特性，包括在EMR基础能力，技术栈，生态集成和数据迁移等方面的升级，EMR4.0为用户提供更高的计算性能和更低的产品价格，将技术的红利让给用户。
-
发表了文章 2019-10-21
5分钟迅速搭建云上Lambda大数据分析架构
主要介绍基于 Tablestore 的数据变更实时捕获订阅能力，实现云上Lambda 架构的轻量化实现数据的实时和离线处理。演示模拟了一个电商订单场景，通过流计算实现订单大屏的场景，做到海量订单实时注入的同时，进行10s的订单统计聚合以及交易金额统计并做实时的大屏幕展示
-
发表了文章 2019-10-16
使用Spark Streaming SQL进行PV/UV统计
PV/UV统计是流式分析一个常见的场景。通过PV可以对访问的网站做流量或热点分析，例如广告主可以通过PV值预估投放广告网页所带来的流量以及广告收入。另外一些场景需要对访问的用户作分析，比如分析用户的网页点击行为，此时就需要对UV做统计。
-
发表了文章 2019-10-14
10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
本次直播我们邀请了Tablestore存储服务技术专家 朱晓然 ，为大家详细介绍如何基于Tablestore的CDC技术，将大表内实时数据更新对接Spark Streaming来实现数据的实时计算和处理。
-
发表了文章 2019-10-12
【译】Delta Lake 0.4.0 新特性演示：使用 Python API 就地转换与处理 Delta Lake 表
本文以案例演示在最新的 Delta Lake 0.4.0 中，如何转换 Delta Lake 表，使用全新的 Python API 执行 upsert 与删除数据，用时间旅行 (time travel) 查询数据的旧版本，以及 vacuum 语句清理旧版本。
-
发表了文章 2019-10-10
JindoFS解析 - 云上大数据高性能数据湖存储方案
JindoFS 是云原生的文件系统，可以提供OSS 超大容量以及本地磁盘的性能
-
发表了文章 2019-10-07
JindoFS概述：云原生的大数据计算存储分离方案
JindoFS 是一套新的云原生的数据湖解决方案。在 JindoFS 之前，云上客户主要使用 HDFS 和 OSS/S3 作为大数据存储。HDFS 是 Hadoop 原生的存储系统，10 年来，HDFS 已经成为大数据生态的存储标准，但是我们也可以看到 HDFS 虽然不断优化，但是 JVM 的瓶颈也始终无法突破。
-
发表了文章 2019-09-27
Apache Flink : Checkpoint 原理剖析与应用实践
本文将分享 Flink 中 Checkpoint 的应用实践，包括四个部分，分别是 Checkpoint 与 state 的关系、什么是 state、如何在 Flink 中使用 state 和 Checkpoint 的执行机制
-
发表了文章 2019-09-24
太难了！我耗费心力终于规划出了一张云栖大会日程表
十年前，参加云栖大会还只是程序员的杭州朝圣之旅，而如今，它依然成了透视和分析云计算产业和窥见数字经济的窗口。一切你想看见的、期待看见的，甚至未曾预见的，都会在未来的三天中扑面而来。
-
发表了文章 2019-09-20
实时 OLAP 系统 Druid
整体来看，Druid 算是一个优秀的实时 OLAP 系统，虽然有一些地方设计的并不是尽善尽美，但是瑕不掩瑜。这篇文章简单介绍一些 Druid 的整体情况，希望可以给使用 Druid 的同学做一些参考。下一篇文章将会介绍一下我们过去一年基于 Druid 的实践情况以及一些踩过的坑。
-
发表了文章 2019-09-19
Apache Spark中国技术交流社区历次直播回顾（持续更新）
Apache Spark中国技术交流社区，由阿里巴巴开源大数据技术团队成立，持续输出spark相关技术直播、原创文章、精品翻译，钉钉群内千人交流学习，欢迎加入。钉钉入群 https://qr.dingtalk.com/action/joingroup?code=v1,k1,jmHATP9Tk+okK7QZ5sw2oWSNLhkt2lCRvfHRdW7XhUQ=&_dt_no_comment=1&origin=11 更多视频和ppt资料请入群获得。
-
发表了文章 2019-09-18
7月24日阿里云峰会.上海 开发者大会回看
阿里云峰会.上海 开发者大会将在上海世博中心盛大启程，与未来世界的开发者们分享开源大数据、IT基础设施云化、数据库、云原生、物联网等领域的技术干货，共同探讨前沿科技趋势，分析阿里云在一线生产场景的最佳实践，携手合作伙伴及广大开发者们共建云上开发新时代，让我们一起code up！
-
发表了文章 2019-09-17
【译】Hadoop发生了什么？我们该如何做？
许多组织都关注Hadoop生态系统的最新发展，并承受着展示数据湖价值的压力。对于企业来说，至关重要的是确定如何在Hadoop失败后成功地实现应用程序的现代化，以及实现这一目标的最佳策略。Hadoop曾经是最被炒作的技术，如今属于人工智能。当心炒作周期，有一天你可能不得不为它的影响负责。
-
发表了文章 2019-09-16
【译】Hadoop发生了什么？我们该如何做？
原文：https://insidebigdata.com/2019/08/10/what-happened-to-hadoop-and-where-do-we-go-from-here/ Apache Hadoop出现在IT领域是在2006年，它可以支持使用廉价的商用硬件来存储海量数据。
-
发表了文章 2019-09-12
在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
预聚合是高性能分析中的常用技术，通过预先聚合降低纬度，从而在查询时大幅减少计算量，提升响应速度。本文介绍了 spark-alchemy 这个开源库中的 HyperLogLog 这一个高级功能，并且探讨它是如何解决大数据中数据聚合的问题。
-
发表了文章 2019-09-11
深入剖析 Delta Lake：详解事务日志
事务日志（Transaction log）是理解 Delta Lake 的一个关键点，很多 Delta Lake 的重要特性都是基于事务日志实现的，包括 ACID 事务性、可扩展元数据处理、时间回溯等等。本文将探讨什么是事务日志，如何在文件层面实现，以及怎样优雅地解决并发读写的问题。
-
发表了文章 2019-09-02
Virgin Hyperloop One如何使用Koalas将处理时间从几小时降到几分钟--无缝的将pandas切换成Apache Spark指南
Koalas项目基于Apache Spark实现了pandas DataFrame API，从而使数据科学家能够更有效率的处理大数据。一份代码可以同时在pandas(用于测试，小数据集)和Spark(用于分布式datasets)两个平台上运行。
-
发表了文章 2019-09-02
EMR 升级Hadoop 2.8.5
信息摘要： EMR 提供Hadoop 2.8.5，方便开发者使用新版Hadoop功能。适用客户： 所有客户版本/规格功能： EMR-3.18.0及以后版本，Hadoop升级为2.8.5，开发者可以方便地使用新版Hadoop的功能。
-
发表了文章 2019-09-02
EMR 最新版 EMR-3.22.0 发布
信息摘要： EMR 升级到 EMR-3.22.0，包含多项重大更新及新增组件。适用客户： 所有客户版本/规格功能： EMR-3.22.0 发布多项重大更新，新增包括 Kudu、OpenLDAP，Spark新增支持 delta datasource。
-
发表了文章 2019-08-30
HIVE优化浅谈
HIVE是数据仓库和交互式查询的优秀框架，但随着数据的增多，join的复杂度和性能问题，需要花时间和精力解决性能优化的问题。除了基于HIVE本身优化，还可以接入计算性能更好的框架，SparkSQL relational cache对使用者透明，开发不需要关心底层优化逻辑，将更多精力放入业务设计开发。
-
发表了文章 2019-08-26
8月28日社区直播【Spark Streaming SQL流式处理简介】
本次直播将简要介绍EMR Spark Streaming SQL，主要包含Streaming SQL的语法和使用，最后做demo演示
-
发表了文章 2019-08-26
8月28日社区直播【Spark Streaming SQL流式处理简介】
本次直播将简要介绍EMR Spark Streaming SQL，主要包含Streaming SQL的语法和使用，最后做demo演示
-
发表了文章 2019-08-12
8月14日Spark社区直播【Spark Shuffle 优化】
本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据
-
发表了文章 2019-08-12
8月14日Spark社区直播【Spark Shuffle 优化】
本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据
-
发表了文章 2019-08-05
海量监控日志基于EMR Spark Streaming SQL进行实时聚合
从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能，支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源，收集ECS上的日志数据，通过Spark Streaming SQL进行聚合后，将流计算结果数据实时写入Tablestore，展示一个简单的日志监控场景。
-
发表了文章 2019-08-02
Apache Spark3.0什么样？一文读懂Apache Spark最新技术发展与展望
阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析，为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展，同时预测了Spark 3.0即将重磅发布的新功能。
-
发表了文章 2019-08-02
Spark on Kubernetes 的现状与挑战
被称为云上 OS 的 Kubernetes 是 Cloud Native 理念的一种技术承载与体现，但是如何通过 Kubernetes 来助力大数据应用还是有很多可以探索的地方。欢迎交流。
-
发表了文章 2019-07-29
7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】
在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。
-
发表了文章 2019-07-29
使用EMR-Kafka Connect进行数据迁移
本文介绍使用EMR Kafka Connect的REST API接口在Kafka集群间进行数据迁移，使用distributed模式。
-
发表了文章 2019-07-23
7月24日晚Spark社区直播：【Apache Spark 基于 Apache Arrow 的列式存储优化】
Apache Arrow 是一个基于内存的列式存储标准，旨在解决数据交换和传输过程中，序列化和反序列化带来的开销。目前，Apache Spark 社区的一些重要优化都在围绕 Apache Arrow 展开，本次分享会介绍 Apache Arrow 并分析通过 Arrow 将给 Spark 带来哪些特性。
-
发表了文章 2019-07-16
【译】用SQL统一所有：一种有效的、语法惯用的流和表管理方法
现在还没有一个统一的流式SQL语法标准，各家都在做自己的。本文在一些业界应用的基础上提出了一个统一SQL语法的建议。Spark同样存在这个问题，社区版本在流式SQL上迟迟没有动作。EMR Spark在今年上半年提供了自己设计版本的流式SQL支持，也会在后续的更新中吸收和支持这些优秀的设计建议。
-
发表了文章 2019-07-08
E-MapReduce产品探秘，扩展开源生态云上的能力
E-MapReduce的产品能力介绍，通过EMR来构建高效的云上大数据平台，优化云上的使用成本，更快的计算效率。
-
发表了文章 2019-07-08
使用Spark Streaming SQL基于时间窗口进行数据统计
使用Spark Streaming SQL可以很方便的对事件数据中的时间字段进行处理，同时Spark Streaming SQL提供的时间窗口函数可以将事件时间按照一定的时间区间对数据进行统计操作。 本文通过讲解一个统计用户在过去5秒钟内点击网页次数的案例，介绍如何使用Spark Streaming SQL对事件时间进行操作。
-
发表了文章 2019-07-07
【译】使用Spark SQL 运行大规模基因组工作流
https://databricks.com/blog/2019/06/26/scaling-genomic-workflows-with-spark-sql-bgen-and-vcf-readers.html 使用Spark SQL 运行大规模基因组工作流 在过去十年中，随着基因组测序价格下降，可用基因组数据的数量逐渐激增。
-
发表了文章 2019-07-07
【译】数据湖正在成为新的数据仓库
原文链接 https://www.infoworld.com/article/3405443/the-data-lake-is-becoming-the-new-data-warehouse.html?upd=1561666042410 译者：诚历，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。
-
发表了文章 2019-07-02
钉钉群直播【E-MapReduce产品探秘，快速构建可扩展的高性能大数据平台】
E-MapReduce整体介绍。通过EMR如何构建一个云上的大数据集群，常见的使用场景和硬件选型指南。
-
发表了文章 2019-07-02
钉钉群直播【Koalas 介绍】
将每个关联结果都作为relational cache构建代价太大，并不现实，我们需要找到一种方式可以通过单个Relational Cache支持优化多个关联查询的方式，从而在加速用户查询的同时，减少创建和更新relational cache的代价。
-
发表了文章 2019-07-01
【译】Spark-Alchemy：HyperLogLog的使用介绍
原文链接: [https://databricks.com/blog/2019/05/08/advanced-analytics-with-apache-spark.html] 译者：辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。
-
发表了文章 2019-07-01
【译】Spark NLP使用入门
原文链接: [https://www.kdnuggets.com/2019/06/spark-nlp-getting-started-with-worlds-most-widely-used-nlp-library-enterprise.html) 译者：辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。
-
发表了文章 2019-06-26
Spark内置图像数据源初探
在Apache Spark 2.4中引入了一个新的内置数据源, 图像数据源.用户可以通过DataFrame API加载指定目录的中图像文件,生成一个DataFrame对象.通过该DataFrame对象,用户可以对图像数据进行简单的处理,然后使用MLlib进行特定的训练和分类计算。
-
发表了文章 2019-06-24
钉钉群直播【Spark Relational Cache 原理和实践】
主要介绍Relational Cache/物化视图的历史和背景，以及EMR Spark基于Relational Cache加速Spark查询的技术方案，及如何通过基于Relational Cache的数据预计算和预组织，使用Spark支持亚秒级响应的交互式分析使用场景。
-
发表了文章 2019-06-20
【译】Spark Streaming 框架在 5G 中的应用
原文链接: Applying the Spark Streaming framework to 5G 我们已经很长时间没有更新流处理框架的相关博客（apache-storm-vs-spark-streaming 和 apache-storm-performance-tuners），这次想分享一下我们关于当前流处理引擎及其在 5G 和 IoT 场景适用性的一些观点。
-
发表了文章 2019-06-17
钉钉群直播【MLFlow和spark在机器学习方面的进展、Project Hydrogen和spark在深度学习方面的进展 】
直播主题：【MLFlow和spark在机器学习方面的进展、Project Hydrogen和spark在深度学习方面的进展 】 时间：6月19日 19：30-20：30 分享嘉宾：江宇，阿里云EMR技术专家。
-
发表了文章 2019-06-17
EMR Spark Relational Cache的执行计划重写
作者：王道远，花名健身， 阿里巴巴计算平台EMR技术专家。 背景 EMR Spark提供的Relational Cache功能，可以通过对数据模型进行预计算和高效地存储，加速Spark SQL，为客户实现利用Spark SQL对海量数据进行即时查询的目的。
-
发表了文章 2019-06-05
使用EMR Spark Relational Cache跨集群同步数据
Relational Cache是EMR Spark支持的一个重要特性，主要通过对数据进行预组织和预计算加速数据分析，提供了类似传统数据仓库物化视图的功能。除了用于提升数据处理速度，Relational Cache还可以应用于其他很多场景，本文主要介绍如何使用Relational Cache跨集群同步数据表。
-
发表了文章 2019-06-04
钉钉群直播【Structured Steaming的进阶与实践 】
structured steaming因其低时延和提供的SQL API等特性被越来越多的企业所使用，作为实时计算的首选。 本次分享structured steaming的使用，包含spark 2.4 structured streaming的新特性，API原理和使用场景等的介绍。
-
发表了文章 2019-05-30
使用Apache Arrow助力PySpark数据处理
Apache Arrow从Spark 2.3版本开始被引入，通过列式存储，zero copy等技术，JVM 与Python 之间的数据传输效率得到了大量的提升。本文主要介绍一下Apache Arrow以及Spark中的使用方法。
-
发表了文章 2019-05-27
钉钉群直播【Migration to Apache Spark】
Spark因其统一引擎、性能、易用性等特点备受青睐，将大数据处理引擎迁移到Spark已经成为一种趋势(比如将Hive迁移到SparkSQL)，很多大公司也正在实践。 本次分享将围绕Hive迁移到SparkSQL进行展开，内容包括介绍大公司迁移流程、遇到的问题以及对Spark做的一些反馈优化。
-
发表了文章 2019-05-24
Apache Spark中国技术交流群升级到企业群啦！！！！！！
普通群容量已满足不了Spark群众日益增长的热情，因此我们做了一个重要的决定，将全部群成员转移到企业群
暂无更多信息
-
发表了文章
2020-07-17
Apache Spark 3.0 中的向量化 IO
-
发表了文章
2020-07-17
7月23日社区直播【TFPark: Distributed TensorFlow in Production on Apache Spark】
-
发表了文章
2020-07-16
大神带练， 0基础Spark训练营限时免费抢报！
-
发表了文章
2020-07-15
SparkSQL中产生笛卡尔积的几种典型场景以及处理策略
-
发表了文章
2020-07-14
再出王牌：阿里云 Jindo DistCp 全面开放使用，成为阿里云数据迁移利器
-
发表了文章
2020-06-16
EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework
-
发表了文章
2020-06-16
我们欠国内Spark开发者的，用一场掷地有声的中文峰会来还
-
发表了文章
2020-06-12
Spark Packages寻宝（一）：简单易用的数据准备工具Optimus
-
发表了文章
2020-06-11
直播 | Delta Lake 如何帮助云用户解决数据实时入库问题
-
发表了文章
2020-06-09
6月11日 JindoFS 系列直播【JindoFS 存储策略和读写优化】
-
发表了文章
2020-06-09
Spark-TFRecord: Spark将全面支持TFRecord
-
发表了文章
2020-06-08
不通过 Spark 获取 Delta Lake Snapshot
-
发表了文章
2020-06-04
直播 | 阿里、快手、Databricks、网易云音乐...国内外大数据大佬齐聚一堂要聊啥？
-
发表了文章
2020-06-04
阿里云发起首届 Spark “数字人体” AI 挑战赛 — 聚焦上班族脊柱健康
-
发表了文章
2020-05-21
首届 Apache Spark AI智能诊断大赛重磅来袭！
-
发表了文章
2020-05-20
SparkSQL与Hive metastore Parquet转换
-
发表了文章
2020-05-19
5月21日 Spark 社区直播【Spark on Zeppelin】
-
发表了文章
2020-05-18
物化视图在 SparkSQL 中的实践
-
发表了文章
2020-05-14
招聘！招聘！招聘！计算平台解决方案架构师专场
-
发表了文章
2020-05-14
Spark + AI Summit 2020 中文议题有奖征集
滑动查看更多
-
回答了问题
2020-03-16
怎样进钉钉2个群
赞0 踩0 评论0 -
提交了问题
2019-05-05
请教一下，delta是不是可以理解为，是基于hdfs的行级别的数据库？然后对于更新数据对于hdfs产生小文件的解决方案是他会提供merge机制？
-
提交了问题
2019-05-05
workflow这个功能很期待，想问下他的工作流之间的依赖关系是怎么建立的，是用户自己定义么？
-
提交了问题
2019-05-05
spark 与 tensorflow 结合有没有方案？
-
回答了问题
2019-07-17
请教一下，delta是不是可以理解为，是基于hdfs的行级别的数据库？然后对于更新数据对于hdfs产生小文件的解决方案是他会提供merge机制？
是的，可以大致这样理解。是行级别的，但下面存储格式基本上还是以 Parquet/ORC 列式为主；delta 小文件要及时合并的，否则性能很差。数据库这个提法不一定好，因为并不会用于 OLTP；可以说是数据仓库，OLAP 场景为主的。关于这个区别，我的一篇文章里面讲得比较细。可以看看。https://yq.aliyun.com/articles/699919?spm=a2c4e.11153959.0.0.4f427507ntu6fX赞0 踩0 评论0 -
回答了问题
2019-07-17
workflow这个功能很期待，想问下他的工作流之间的依赖关系是怎么建立的，是用户自己定义么？
这个问题很高级，你们是不是已经在玩了？不过工作流的定义过程里面，必然会形成各个工作流节点之间的依赖关系，定义工作流本身就是定义各个节点和他们之间的上下游关系，也就形成了这些依赖关系。如果你问的是多个工作流之间是不是还可以形成更高层次的依赖关系，我没有深入去看，感觉目前还比较早一点，不一定已经支持了。赞1 踩0 评论0 -
回答了问题
2019-07-17
spark 与 tensorflow 结合有没有方案？
分享里面(4月28日钉钉群分享）提到的 Hydrogen 项目就是要系统支持这些深度学习框架的。Spark 3.0 会包含进去。你找到相关 SPIP，JIRA 和 PPT 挖一下。赞0 踩0 评论0 -
提交了问题
2019-04-26
E-MapReduce 集群 header 节点有公网 IP，存在安全风险，是否可以通过 ECS 控制台关闭公网 IP，关闭公网 IP 是否会对 E-MapReduce 服务产生影响?
-
提交了问题
2019-04-26
如何登陆 Core 节点，并进行 root 权限操作
-
提交了问题
2019-04-26
E-Mapreduce 主节点不允许安装其它软件？
-
提交了问题
2019-04-26
已有/现存 ECS 是否可以用到 EMR 集群中
-
提交了问题
2019-04-26
自动续费
-
提交了问题
2019-04-26
集群续费问题
-
提交了问题
2019-04-26
创建集群失败，构建失败 "The specified instance Type exceeds the maximum limit for the PostPaid instances. "
-
提交了问题
2019-04-26
创建大数据机型（D1）的问题
-
提交了问题
2019-04-26
高安全集群
-
提交了问题
2019-04-26
E-MapReduce 按量高配节点问题
-
提交了问题
2019-04-26
错误提示：指定的 InstanceType 未授权使用
-
提交了问题
2019-04-26
错误提示：zone 或者 Cluster 的库存不够了
-
提交了问题
2019-04-26
错误提示：The Node Controller is temporarily unavailable
滑动查看更多
暂无更多信息