开源大数据EMR_个人页

是时候放弃 Spark Streaming, 转向 Structured Streaming 了

正如在之前的那篇文章中 Spark Streaming 设计原理 中说到 Spark 团队之后对 Spark Streaming 的维护可能越来越少，Spark 2.4 版本的 Release Note 里面果然一个 Spark Streaming 相关的 ticket 都没有。

Spark SQL 性能优化再进一步：CBO 基于代价的优化

本文将介绍 CBO，它充分考虑了数据本身的特点（如大小、分布）以及操作算子的特点（中间结果集的分布及大小）及代价，从而更好的选择执行代价最小的物理执行计划，即 SparkPlan。

Spark排序算法系列之GBTs使用方式介绍

在本篇文章中你可以学到： Spark MLLib包中的GBDT使用方式 模型的通过保存、加载、预测 PipeLine ML包中的GBDT

Spark in action on Kubernetes - Playground搭建与架构浅析

前言Spark是非常流行的大数据处理引擎，数据科学家们使用Spark以及相关生态的大数据套件完成了大量又丰富场景的数据分析与挖掘。Spark目前已经逐渐成为了业界在数据处理领域的行业标准。但是Spark本身的设计更偏向使用静态的资源管理，虽然Spark也支持了类似Yarn等动态的资源管理器，但是这些资源管理并不是面向动态的云基础设施而设计的，在速度、成本、效率等领域缺乏解决方案。

基于Alluxio系统的Spark DataFrame高效存储管理技术

介绍越来越多的公司和组织开始将Alluxio和Spark一起部署从而简化数据管理，提升数据访问性能。Qunar最近将Alluxio部署在他们的生产环境中，从而将Spark streaming作业的平均性能提升了15倍，峰值甚至达到300倍左右。

【译】Apache Spark 2.4 内置数据源 Apache Avro

原文链接: Apache Avro as a Built-in Data Source in Apache Spark 2.4 Apache Avro 是一种流行的数据序列化格式。它广泛使用于 Apache Spark 和 Apache Hadoop 生态中，尤其适用于基于 Kafka 的数据流场景。

Apache Spark 系列技术直播 - 从 Spark Streaming 到 Structured Streaming

从 Spark Streaming 到 Structured Streaming Spark Streaming 介绍 数据模型 容错处理 扩展性、吞吐量分析 Google Dataflow 介绍 Dataflow 设计思想介绍Structured Streaming 介绍 设计思想 编程模型 A.

Apache Spark 系列技术直播 - Spark SQL进阶与实战

Spark SQL进阶与实战 Spark相关组件介绍 Spark及其依赖组件 Hive Metastore介绍 Spark Thrift Server介绍 表与ETL Spark表基本概念 Spark建表最佳实践 Spark ETL最佳实践 动态分区表示例分析 Spark SQL查询最佳实践 Sp.

[转载] 是时候学习真正的 spark 技术了

spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， spark streaming 维护的也不积极了， 我们基于 spark 来构建大数据计算任务，重心也要...

[转载] Spark Structed Streaming执行过程

在Struct Streaming中增加了支持sql处理流数据，在sql包中单独处理，其中StreamExecution是下面提到两处流处理的基类，这个流查询在数据源有新数据到达时会生成一个QueryExecution来执行并将结果输出到指定的Sink（处理后数据存放地）中。

[转载] Spark Streaming 设计原理

最近两年流式计算又开始逐渐火了起来，说到流式计算主要分两种：continuous-based 和 micro-batch。最近在使用基于 micro-batch 模式的 Spark Streaming，正好结合论文介绍一下。

Apache Spark 系列技术直播 - Spark SQL 实践与优化

Apache Spark 系列技术直播 Spark SQL 实践与优化 内容简介： SparkSQL介绍 基本原理 支持的DataSource介绍 Hue/Zepplin/Livy周边跟SparkSQL的集成使用等 SparkSQL优化 SparkSQL Catalyst优化 AE优化 Shuffle优化 直播时间： 2018.

开源大数据周刊-第107期

1月14日，英特尔人工智能大会（AIDC 2018）在北京国贸酒店举行。这是英特尔第三次在中国举行人工智能大会，也是第一次专门面向开发者和技术社区。大会上，英特尔发布了Neural Compute Stick 2（神经计算棒二代），英特尔还展示了如何以底层计算能力赋能百度、腾讯、阿里、微软等合作伙伴，共同推进AI与物联网发展。

开源大数据周刊-第106期

Apache Kylin社区于日前宣布：Apache Kylin v2.5.1 正式发布！Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力，支持对超大规模数据进行亚秒级查询。

开源大数据周刊-第105期

资讯 340亿美元收购红帽，IBM在拥挤的云市场另辟蹊径 Hadoop真的要死了吗？程序员的革命or灾难：机器人在GitHub修复bug、与人不相上下 基于TensorFlow Serving的深度学习在线预估 如期而至！谷歌开源 BERT 模型源代码 4年数据涨万倍，Uber大数据平台四...

开源大数据周刊-第104期

资讯 谷歌、亚马逊、阿里纷纷入局，边缘计算的潜力如何？ 从智能手机到可穿戴设备，从医疗到汽车以及工业制造，边缘计算正在上演一个又一个行业传奇，它的落脚点是要让终端成为更智慧的存在——能够实时处理数据、能够低延时做出反馈——这不就是我们期待中的智能设备吗？ 如此多的深度学习框架，为什么我选择PyTorch？ 不久前，Facebook 在首届 PyTorch 开发者大会发布了 PyTorch1.0 预览版，标志着这一框架更为稳定可用。

开源大数据周刊-第103期

Google宣布在2016年发布的数据可视化工具Data Studio，以及2017年发布的的数据预先处理服务Cloud Dataprep，现在都正式可用。

开源大数据周刊-第102期

开源大数据周刊-第101期

开源大数据周刊-第100期

开源大数据周刊-第99期

资讯 谷歌重磅开源强化学习框架Dopamine谷歌推出了一款全新的开源强化学习框架 Dopamine，该框架基于 TensorFlow，主打灵活性、稳定性、复现性，能够提供快速的基准测试。 整合AI和数据科学新利器：基于Apache Spark的Hydrogen项目以往数据集的准备以及模型的训练工作是分开的，这两部分工作相当于存在两套系统中。

开源大数据周刊-第98期

产品资讯 E-MapReduce 发布新版工作流调度还在困惑怎么管理Hadoop，Hive，Spark等作业和项目，怎么灵活可靠的调度吗？从EMR工作流开始吧 E-MapReduce 发布弹性伸缩当你需要按照时间段弹性的添加计算节点，补充计算能力的时候，弹性伸缩利用云上的弹性来灵活扩展你的计算力 资讯 华尔街看涨大数据广告市场 品友等AI营销技术公司或受资本追捧据媒体报道，在纳斯达克挂牌上市的广告科技公司The Trade Desk10日股价大涨逾37%至127.93美元，成为当日美股市场涨幅最高的股票。

开源大数据周刊-第97期

本期周刊带来了开源社区重要的产品更新，包括Flink和Alluxio等，还有互联网一线公司以及传统银行业的最新大数据应用实践。

开源大数据周刊-2018年08月10日 第96期

开源大数据周刊-2018年08月10日 第96期

开源大数据周刊-2018年08月03日 第95期

开源大数据周刊-2018年08月03日 第95期

开源大数据周刊-第91期

资讯 大数据，让国防交通民用运力装上智慧大脑战争年代，人民群众推着小推车踊跃支前。如今，在大数据支持下，国防交通民用运力动员会发生怎样的变化？ AI玩虐人工！“Magic”世界杯集锦“炫”出新高度2017年12月26日，新华社向全球发布了中国第一个媒体人工智能平台——媒体大脑1.0，引起海内外广泛关注。

开源大数据周刊-第90期

开源大数据周刊-第89期

资讯 Databricks开源机器学习平台MLFlow本文主要介绍Databricks开源机器学习平台MLFlow基础。 全民讨伐 Google AI “作恶”项目内部员工的严重抗议，终于让谷歌在 AI 武器化的道路上悬崖勒马了。

开源大数据周刊-第88期

开源大数据周刊-第87期

开源大数据周刊-第86期

资讯 谷歌2018开发者大会：AI“贯穿一切”美国当地时间5月8日，谷歌I/O 2018开发者大会在美国加州山景城拉开帷幕。在本届大会上，人工智能成为贯穿全场的主题。谷歌不仅发布了新一代为机器学习定制的芯片TPU（张量处理器）、结合了AI技术的Android P系统，还升级了不少AI应用。

开源大数据周刊-第84期

开源大数据周刊-第85期

资讯 美国公布长达35页的《2016-2045年新兴科技趋势报告》， Hadoop社区最新动态

开源大数据周刊-第83期

资讯 最高法院就Microsoft云计算案的法律问题开展口辩论本案对Microsoft的裁决，可能将会要求位于美国的企业提交其存储在国外服务器上的美国执法数据。在这种情况下，位于美国的企业可能将无法为国外提供许多云计算服务。

开源大数据周刊-第82期

总理政府工作报告：加强大数据发展和新一代人工智能研发应用。即将发布的 JDK 10 有 109 项新特性，你喜欢哪些？微软宣布在机器翻译方面取得突破，中翻英可达人类水平。推特爆款：谷歌大脑工程师的深度强化学习劝退文。

开源大数据周刊-第81期

开源大数据周刊-第80期

奇虎360正式开源其高性能KV存储平台Zeppelin，Zeppelin 是奇虎 360 开源的一个高性能，高可用的分布式 Key-Value 存储平台，它以高性能、大集群为目标，并希望能在 Zeppelin 的基础上，不仅能够提供 KV 的访问，还可以通过简单的一层转换满足更复杂的协议需求。

开源大数据周刊-第79期

资讯 警惕大数据成了互联网的“PX项目” 新年伊始 BAT 三家关于数据安全的新闻就成功的吸引了公众的目光，也引发了公众对于大公司收集并使用用户数据的担忧。这篇文章比较客观的分析了公众的忧虑，以及互联网公司如何使用这些数据，可以说是一个很好数据安全的科普。

开源大数据周刊-第78期

新功能预告：EMR Hadoop集群将增加Flink组件，版本1.4.0；EMR Kafka集群将增加Schema Registry和Rest Proxy组件

开源大数据周刊-第77期

资讯 锤炼视频大数据时代的“火眼金睛” 我们身处一个大数据的时代，视频数据的爆炸性增长是这个时代的重要特征之一。如何让计算机看懂视频的内容，实现对海量视频数据的检索和分析是有效管理和利用视频大数据的关键。

开源大数据周刊-第76期

本期周刊包括开源大数据核心组件Hadoop和Impala的最新消息，以及HBase、Kafka、TensorFlow等主流开源组件的实践分享和技术实现，还有来自京东推荐部门的推荐系统演进史，纯干货分享。

开源大数据周刊-第73期

资讯 国家公布人工智能四大平台 AI的春天到了？ 日前，科技部召开新一代人工智能发展规划暨重大科技项目启动会，并公布首批国家新一代人工智能开放创新平台名单，标志着新一代人工智能发展规划和重大科技项目进入全面启动实施阶段。

开源大数据周刊-第71期

开源大数据周刊-第72期

资讯： 《新一代人工智能发展规划》启动实施 公布首批开放创新平台 科技部于11月15日在北京召开了《新一代人工智能发展规划》暨重大科技项目启动会。本次会议紧紧围绕新一代人工智能发展规划，形成了任务落实的系统安排，全面推进规划和重大科技项目启动实施。

开源大数据周刊-第70期

资讯： 推动云基础设施创新，英特尔与阿里云的“软硬合唱” 对于一家云服务厂商来说，实现软件、服务与硬件基础设施的完美整合，是在激烈市场竞争中的关键点。

开源大数据周刊-第69期

资讯： 阿里巴巴成立达摩院，三年1000亿旨在创造颠覆性基础技术 10 月 11 日，2017 杭州·云栖大会开幕。会上，阿里巴巴集团首席技术官张建锋宣布阿里巴巴成立全球研究院达摩院，进行基础科学和颠覆式技术创新研究，并将在未来 3 年投入 1000 亿元进行基础科学研发。

开源大数据周刊-第68期

资讯： 2020年我国大数据产业将破万亿 近日，《2017中国大数据产业发展白皮书》发布。《每日经济新闻》记者对照工信部及各地出台的大数据发展规划进行梳理后发现，到2020年，我国大数据相关产品和服务业务收入将突破1万亿元，年均复合增长率保持30%左右。