最近两年流式计算又开始逐渐火了起来，说到流式计算主要分两种：continuous-based 和 micro-batch。最近在使用基于 micro-batch 模式的 Spark Streaming，正好结合论文介绍一下。

本文是基于对MaxCompute产品的学习进度，再结合开发者社区里面的一些问题，进而整理成文。希望对大家有所帮助。

1. 含义 和Java中的Map一样，多个Key-Value的组合。 2. 场景 什么样的数据，适合使用map类型来存储呢？这里列举了几个我在开发中实际用到的场景。 2.1 数量不固定的多个KeyValue 这类，本身就是Map类型的数据。

阿里云大数据平台MaxCompute用户指南

之前的文章介绍了Hawkeye的底层分析系统(待补充文章)，其中讲到了基于Blink的Batch任务实现方法，前段时间在优化慢query查询的过程中开发了应用TopN慢query获取的分析任务，其中用到的分析方法适用于其他类似求TopN的问题中。

背景 TISPLUS平台的数据分析能力主要由hawkeye提供，但是之前存在如下几个问题：1.数据化场景的功能没有凸显，隐藏较深；2.产品形态设计单一，没有一个较好的产品闭环引导用户关注数据化的结果；3.数据分析内容简单，覆盖面不足，远远达不到让用户数据化运营服务的目标；4.重点关注了数据分析的结果，但缺少衡量数据分析结果为搜索服务本身带来的价值大小。

被称为云上 OS 的 Kubernetes 是 Cloud Native 理念的一种技术承载与体现，但是如何通过 Kubernetes 来助力大数据应用还是有很多可以探索的地方。欢迎交流。

本文转发自技术世界，原文链接　http://www.jasongj.com/spark/adaptive_execution/ 1 背  景 Spark SQL / Catalyst 和 CBO 的优化，从查询本身与目标数据的特点的角度尽可能保证了最终生成的执行计划的高效性。

PAI-DSW（Data science workshop）是专门为数据科学探索者们准备的云端深度学习开发环境，用户可以登录 DSW 进行代码的开发并运行工作。目前 DSW 支持了Github下载，让我们可以更加便捷的访问上面的资源.

本案例根据某电网公司的真实业务需求，通过Blink SQL+UDAF实现实时流上的差值聚合计算，通过本案例，让读者熟悉UDAF编写，并理解UDAF中的方法调用关系和顺序。

目前，国内（华人）近 30 位 Apache Member 中，有 3 位是 Apache Flink 的核心贡献者。他们热爱开源也为开源贡献，不仅积极参与社区与其他 PMC 成员共同规划、主导 Apache Flink 的发展，更活跃在多个开源项目，持续为开源社区做贡献。

本文从上述现状及实时数据需求出发，结合工业界案例、笔者的实时数据开发经验， 梳理总结了实时数据体系建设的总体方案。

看过美剧《硅谷》的同学都知道人工智能识别热狗曾是硅谷最赚钱的技术之一。去年 HBO 发布了官方的 Not Hotdog 应用，支持 iOS 和 Android 平台，据说是用 TensorFlow、Keras 和 React Native 打造的，但是源码没有公开。

Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。滴滴基于 Apache Flink 做了大量的优化，也增加了更多的功能，比如扩展 DDL、内置消息格式解析、扩展 UDX 等，使得 Flink 能够在滴滴的业务场景中发挥更大的作用。

MaxCompute 于5月7日正式售卖预付费（包年包月）套餐资源，主打存储密集型套餐，一共三个套餐： 存储密集型160套餐 存储密集型320套餐 存储密集型600套餐 本文主要给大家介绍预付标准版和套餐版的资源、售价以及两者对比的情况，以供大家选购时进行参考。

4月25-26日，为期一天半的 Flink Forward 全球直播中文精华版将精选大会最佳实践、Flink 深度技术解析、社区生态等优质内容进行翻译并搭配中文解说，邀您共赴技术盛宴！

4 月 24 日，Databricks 在 Spark + AI 峰会上开源了一个新产品 Koalas，它增强了 PySpark 的 DataFrame API，使其与 pandas 兼容。本文转自：https://www.infoq.cn/article/tvGrtwJxCR1kQDs_kqa4

原文链接: [https://databricks.com/blog/2019/05/08/advanced-analytics-with-apache-spark.html] 译者：辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。

现在还没有一个统一的流式SQL语法标准，各家都在做自己的。本文在一些业界应用的基础上提出了一个统一SQL语法的建议。Spark同样存在这个问题，社区版本在流式SQL上迟迟没有动作。EMR Spark在今年上半年提供了自己设计版本的流式SQL支持，也会在后续的更新中吸收和支持这些优秀的设计建议。

Abstract(简介): This talk will provide an overview of the major features and enhancements in Spark 2.4 release and the upcoming releases and will be followed by a Q&A session.

Join是一个非常耗费资源耗费时间的操作，特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 如果我们能够尽可能的在靠近源头上减少参与计算的数据，一方面可以提高查询性能，另一方面也可以减少资源的消耗(网络/IO/CPU等)，在同样的资源的情况下可以支撑更多的查询。

TopN 问题是排序中的一个经典问题。对于一个长度为 m 的数组，取其最大的 n (n

本文将从大数据架构变迁历史，Pravega 简介，Pravega 进阶特性以及车联网使用场景这四个方面介绍 Pravega，重点介绍 DellEMC 为何要研发 Pravega，Pravega 解决了大数据处理平台的哪些痛点以及与 Flink 结合会碰撞出怎样的火花。

本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据

数据中台应该是什么样子?如何基于MLSQL完成数据中台的构建? MLSQL是如何基于Spark来完成这些扩展的? Databricks公司新开元项目Delta对于数据和机器学习的意义何在？

根据用户画像、交易行为和商品特征，用户智能推荐的方式帮助用户找到最合适的商品<br />数据源:用户数据、交易数据、商品数据<br />数据大小:184 KB<br />字段数量:4<br />使用组件:归一化,过滤与映射,SQL脚本,缺失值填充,读数据表,JOIN,类型转换<br />

Flink 1.11 版本即将正式宣告发布！为满足大家的好奇与期待，我们邀请 Flink 核心开发者对 1.11 版本的功能特性进行解读与分享。Flink 1.11 在 1.10 的基础上对许多方面进行了完善和改进，并致力于进一步提高 Flink 的可用性及性能。

实验名称实验名称实验名称<br />数据源:实验名称<br />数据大小:779 KB<br />字段数量:42<br />使用组件:读数据表<br />

在 Flink 社区中，最常被问到的问题之一是：在从开发到生产上线的过程中如何确定集群的大小。这个问题的标准答案显然是“视情况而定”，但这并非一个有用的答案。本文概述了一系列的相关问题，通过回答这些问题，或许你能得出一些数字作为指导和参考。

分享到云栖社区<br />数据源:test<br />数据大小:7.49 KB<br />字段数量:15<br />使用组件:归一化,拆分,SQL脚本,读数据表,类型转换<br />

文本分类实验<br />数据源:<br />数据大小:261 KB<br />字段数量:3<br />使用组件:拆分,SQL脚本,读数据表,JOIN,增加序号列,类型转换,合并列<br />

Multisim14.0是由美国NI公司开发的EDA工具，适用于电路设计与仿真。本文提供详细中文安装步骤：下载安装包后解压，运行安装程序并设置路径，填写用户信息，选择安装位置，接受协议完成安装。随后安装NILicense激活器及中文语言包，最终实现软件汉化与正常运行。附带网盘下载链接，方便国内用户获取资源。

asdfsadf eee<br />数据源:<br />数据大小:328 KB<br />字段数量:4<br />使用组件:读数据表,SQL脚本,JOIN,过滤与映射<br />

文本分析实验<br />数据源:<br />数据大小:261 KB<br />字段数量:3<br />使用组件:拆分,SQL脚本,读数据表,JOIN,增加序号列,类型转换,合并列<br />

测试测试<br />数据源:<br />数据大小:1.36 MB<br />字段数量:25<br />使用组件:分箱,读数据表,评分卡预测,评分卡训练,拆分,样本稳定指数(PSI)<br />

本文将介绍跟 Flink 相关的一些 RocksDB 操作，并讨论一些提高资源利用率的重要配置。

测试一下功能<br />数据源:<br />数据大小:328 KB<br />字段数量:4<br />使用组件:过滤与映射,SQL脚本,读数据表,JOIN<br />

基于CTR的GBDT和LR方法融合<br />数据源:直播提供数据<br />数据大小:770 KB<br />字段数量:20<br />使用组件:拆分,读数据表,特征编码<br />

心脏病自传数据预测<br />数据源:<br />数据大小:5.88 KB<br />字段数量:14<br />使用组件:读数据表<br />

本人小白，初次学习PAI,欢迎和大家一起交流学习这个PAI学习。阿里API直播课程的“手把手在线直播实操：机器学习PAI教你如何品酒”，我这边也就是学习一下。<br />数据源:<br />数据大小:96.1 KB<br />字段数量:12<br />使用组件:归一化,拆分,SQL脚本,读数据表<br />