# 开源大数据平台 E-MapReduce #
0
关注
1510内容
通过可视化更好的了解你的Spark应用
图的最大价值是它会推动我们去注意到那些我们从未预料到的东西。
– John Tukey
Spark 1.4中对Spark UI进行改进，更加突出可视化的效果。我们来看一下他的主要的改动，主要包含三个方面：
Spark事件的时间线视图
执行的DAG图
Spark Streaming 的可视化
是时候放弃 Spark Streaming, 转向 Structured Streaming 了
正如在之前的那篇文章中 Spark Streaming 设计原理 中说到 Spark 团队之后对 Spark Streaming 的维护可能越来越少，Spark 2.4 版本的 Release Note 里面果然一个 Spark Streaming 相关的 ticket 都没有。
E-MapReduce集群搭建HAWQ实践
HAWQ是一种基于HDFS的MPP(Massively Parallel Processing) SQL引擎，支持标准SQL/事务处理，性能比原生Hive快几百倍。本文介绍在E-MapReduce集群上面如何搭建HAWQ。
[译]利用贝叶斯推理做硬件故障率的准实时预测
你可能已经不知不觉中在数据科学项中用上了贝叶斯相关技术！如果你还没用上，这个技术可以增强你的数据分析能力。本文会展示这项技术在现实世界中的应用案例：通过传感器收集的流式数据预测硬件故障率。
欢迎加入Spark中国社区
欢迎大家关注Spark中国社区！
社区成员会定期把Spark（全球）社区的最新发布、文档等翻译后放到社区，并经常组织社区成员线上、线下的直播分享、meetup以及有奖比赛等活动，非常欢迎大家加入社区，对于发帖、提问、答疑的同学，社区会给予特色的奖励
Spark社群钉钉群
为什么选择ali-E-MapReduce
E-MapReduce是构建于阿里云ECS弹性虚拟机之上，利用开源大数据生态系统，包括但不限于Hadoop、Spark、Hbase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。我们提供的软件基本都是开源的软件，会有一些性能的优化，但是绝对不引入任何不兼容的改动。
使用hadoop restful api实现对集群信息的统计
本文根据hadoop/spark的RESTful API，实现了对集群基本信息的统计功能，包括HDFS文件系统、job情况、资源队列情况的统计。这些API只提供了基础的数据，具体的统计与分析，还需要基于这些基础数据做一些简单的开发。
使用Spark Streaming SQL进行PV/UV统计
PV/UV统计是流式分析一个常见的场景。通过PV可以对访问的网站做流量或热点分析，例如广告主可以通过PV值预估投放广告网页所带来的流量以及广告收入。另外一些场景需要对访问的用户作分析，比如分析用户的网页点击行为，此时就需要对UV做统计。
列式存储系列（二）: Vertica
本文就 Vertica 的数据模型、存储、执行引擎以及这几个方面与 C-Store 的区别进行了简单的介绍。总的来说，Vertica 是一个纯正的列式存储数据库，为此，Vertica 设计实现了 projection 这一数据模型，并围绕该模型设计实现了一套大数据分析管理引擎。
免费试用