自从4月1日，中共中央、国务院印发通知，决定设立河北雄安新区之后，这个无名小城就一夜爆红。雄安新区规划范围涉及河北省雄县、容城、安新3县及周边部分区域，地处北京、天津、保定腹地，是继深圳经济特区和上海浦东新区之后又一具有全国意义的新区。

阿里云MVP曾勇撰写的《ELK运维监控入门实战》系列，以Elasticsearch中文社区网站运维监控体系搭建作为案例，讲解了ELK监控系统的相关原理和技术实现，可作为对ELK感兴趣的同学的入门级文章。本篇作为第一篇，介绍了项目背景和技术架构。

10月14日，2017杭州云栖大会·阿里云大数据计算服务（MaxCompute）专场，阿里巴巴计算平台架构师林伟分享了主题《MaxCompute2.0的NewSQL演进之路》，介绍阿里云大数据计算服务MaxCompute 2.0在NewSQL上所做的优化和实践工作。

在Blink的流式任务中，State相关的操作通常都会成为整个任务的性能瓶颈。实时计算部-查询和优化团队开发了MiniBatch功能，大幅降低了State操作的开销，在今年的双11中，几乎所有适用的任务都启用了MiniBatch功能。

峰值期间，汇合营销每天需要收集、分析和存储20多亿条的访客浏览轨迹；同时，还需要根据用户需求在亿级日志表中做秒级查询。

csv 中的第一行表示字段名，第二行表示字段值 比如你要实现下列静态数据： [ { "x": "1月", "y": 2, "s": "蒸发量" }, { "x": "1月", "y": 2.

对一个互联网产品来说，典型的风控场景包括：注册风控、登陆风控、交易风控、活动风控等，而风控的最佳效果是防患于未然，所以事前事中和事后三种实现方案中，又以事前预警和事中控制最好。 这要求风控系统一定要有实时性。

一、总览 一个游戏/系统的业务数据分析，总体可以分为图示的几个关键步骤：   1、数据采集：通过SDK埋点或者服务端的方式获取业务数据，并通过分布式日志收集系统，将各个服务器中的数据收集起来并送到指定的地方去，比如HDFS等；（注：本文Demo中，使用flume，也可选用logstash、Flue.

聊什么 在《Apache Flink 漫谈系列 - SQL概览》中我们介绍了JOIN算子的语义和基本的使用方式，介绍过程中大家发现Apache Flink在语法语义上是遵循ANSI-SQL标准的，那么再深思一下传统数据库为啥需要有JOIN算子呢？在实现原理上面Apache Flink内部实现和传统.

实际问题 很多大数据计算产品，都对用户提供了SQL API，比如Hive, Spark, Flink等，那么SQL作为传统关系数据库的查询语言，是应用在批查询场景的。Hive和Spark本质上都是Batch的计算模式(在《Apache Flink 漫谈系列 - 概述》我们介绍过Spark是Micr.

Flink 机器学习进度几何？如何将 Flink 与 TensorFlow 等框架相结合？有哪些 Flink 在机器学习上的生产实践应用？为你呈现 Flink 机器学习的具体应用实践与最新技术落地案例。

小红唇和阿里云大数据平台的牵手要从2016年5月份说起。随着小红唇业务的发展，用户量和内容量不断增加，迫切需要推出个性化功能，增加用户的使用时长和用户粘度。对于一个没有大数据/机器学习经验和技术储备，并且开发人员有限的年轻团队，在业务快速发展的情况下，如何在非常有限的开发资源和不影响正常业务开发的前提下，快速建立起自己的推荐系统，成为摆在小红唇技术团队面前一个不小的挑战。

欢迎大家关注Spark中国社区！ 社区成员会定期把Spark（全球）社区的最新发布、文档等翻译后放到社区，并经常组织社区成员线上、线下的直播分享、meetup以及有奖比赛等活动，非常欢迎大家加入社区，对于发帖、提问、答疑的同学，社区会给予特色的奖励 Spark社群钉钉群

618大促马上来了，快递企业包裹量又要剧增了。数据显示，2017年全行业快件量会接近400亿件。 虽然各大快递公司都事先增加了人员、设备、仓库，提升了运能，但面临的压力仍旧空前。

Spark架构和设计上的优秀毋庸置疑，从一出道便抢了 Hadoop 的 C 位。在开源大数据的黄金十年一时风头无两，在当下人工智能时代仍然能够与时俱进，通天之处不遑多言，美中不足之处也有不少。小的方面，比如调度模型跟 MapReduce 这种计算范式过于耦合，Spark 最近引入 Barrier 调度模式就是为了支持深度学习这种新的计算类型，所幸在于对框架的改动不会伤筋动骨；有些缺陷则不然，影响全局，调整起来绝非易事。

E-MapReduce是构建于阿里云ECS弹性虚拟机之上，利用开源大数据生态系统，包括但不限于Hadoop、Spark、Hbase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。我们提供的软件基本都是开源的软件，会有一些性能的优化，但是绝对不引入任何不兼容的改动。

双十一手淘首页个性化场景是推荐生态链路中最大的场景之一，在手淘APP承载了整体页面的流量第一入口，对用户流量的整体承接、分发、调控，以及用户兴趣的深度探索与发现上起着至关重要的作用。

启信宝的企业数据范围广、维度多，覆盖8000万以上的企业， 19个产业链，95个细分行业，100个以上企业数据维度，企业覆盖率达98%以上。

在Spark中，Join通常是代价比较大，尤其是shuffle join。Relational Cache将反范式化表（即关联后的大表）保存为relational cache，便可以使用cache重写执行计划，提高查询效率。

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总 一. 背景介绍 菜鸟的物流数据本身就有链路复杂、实操节点多、汇总维度多、考核逻辑复杂的特点，对于实时数据的计算存在很大挑战。经过仓配ETL团队的努力，目前仓配实时数据已覆盖了绝大多数场景，但是有这样一类特殊指标：“晚点超时指标”（例如：出库超6小时未揽收的订单量），仍存在实时汇总计算困难。

该课程是基于大数据时代APP日志分析的基础需求的基础上，给开发者从数据高并发写入及实时在线访问存储到便捷高效的数据加工处理最终再到数据分析与展示的完整链路解决方案。不仅可以了解并实操到阿里云的产品，同时可以自己可以跟着讲师动手完成在线运营分析平台的搭建。

最近有朋友问，客户在香港ECS上搭建的MySQl，大概有100GB以上的数据，能否通过MaxCompute做海量数据分析，我的回答是YES！ 但客户担心香港与大陆之前数据连通性问题，我的回答依然是YES！ 为了让更多个客户不再困扰，笔者做了一份教程，可以通过大数据开发套件中的经典网络进行同步数据

在最新版本的EMR-1.3.0已经解决了hive comment中文乱码问题。如果已经申请了包年包月的集群，用的是老版本，那么可以过下面介绍的步骤解决这个问题。

11月22日在广州举办的2017年云栖大会·广东分会今天拉开序幕，小编已经深深感受到了华南地区小伙伴们的热情，针对大家好奇的问题，如本届广东分会阿里云会有什么亮点？邀请了哪些嘉宾？展台会有什么活动等等问题，小编在这里为大家做个现场报道吧！

PV/UV统计是流式分析一个常见的场景。通过PV可以对访问的网站做流量或热点分析，例如广告主可以通过PV值预估投放广告网页所带来的流量以及广告收入。另外一些场景需要对访问的用户作分析，比如分析用户的网页点击行为，此时就需要对UV做统计。

本周关注：马云谈云计算、大数据、人工智能未来三十年，E-MapReduce存储计算分离，真实的大数据故事，spark session及spark mmlib、presto+oss

MaxCompute是ET大脑供血系统极其重要的组成部分，如果没有MaxCompute，今天我们将没办法给大家讲述任何一个成功的故事。

前言       在《数据库系统中的Code Generation技术介绍》中，我们简单介绍了一下Code Generation技术及其在大规模OLAP系统，特别是大规模分布式OLAP系统中的重要性。MaxCompute采用了Code Generation技术来提高计算效率。在MaxCompute

ofo小黄车如何通过MaxCompute轻松处理每天千万订单，提升线下运营效率50%以上，提升整体运行效率76%？ 阿里妈妈在搜索广告、定向广告、达摩盘、报表和BI分析等常见场景下是如何使用MaxCompute的？ Noxmobi自建业界领先的DSP、SSP、ADX等广告系统，其中最重要的底层数.

聊什么 上一篇《Apache Flink 漫谈系列 - JOIN算子》我们对最常见的JOIN做了详尽的分析，本篇介绍一个特殊的JOIN，那就是JOIN LATERAL。JOIN LATERAL为什么特殊呢，直观说因为JOIN的右边不是一个实际的物理表，而是一个VIEW或者Table-valued Funciton。

随着大数据技术的蓬勃发展，现在关于大数据技术在各行各业的实践也如火如荼。 那么当大数据技术遇到光伏行业会产生何样的化学反应呢？ 下面就和大家一起分享一下袋鼠云是如何使用阿里云数加平台和机器学习平台助力光伏行业的。

乍一看标题会以为是不是作者写错了怎么会有从MaxCompute到MaxCompute迁移数据的场景呢在实际使用中已经有客户遇到了这种场景比如两个网络互通的专有云环境之间数据迁移、公共云数加DataIDE上两个云账号之间数据迁移、还有网络不通的两个MaxCompute项目数据迁移等等下面我们逐个场景介绍。

我是个幸运的人。虽然幸运不能被复制，但是眼光和努力可以。 “我是一个兴趣驱动型的人，职业生涯总的来说，还算挺幸运的，做自己感兴趣的事情，走上IT这一行……” 特别久以前，大概初中的时候有了自己的第一台电脑，大名鼎鼎的486，带一个数学协处理器，主频266MHz，内存有4MB。”

新一代数据仓库实际上是数据湖，对那些用于构建和训练机器学习模型的清洗，整合和验证的数据进行管理。例如，去年秋天在Amazon re：Invent 大会上，亚马逊网络服务公布了AWS Lake Formation。

本文我们将通过对有同样数据量、表结构除分区列其他都一模一样的表,从查询计算、写入、删除数据几个简单操作进行对比，了解MaxCompute分区表和非分区表在使用上有什么差异。 在介绍之前，需要大家先了解MaxCompute分区的概念。

swift是搜索事业部自主研发分布式消息系统，它的主要存储基于分布式文件系统，资源需求基于分布式调度系统。swift能支持每秒数亿的消息传递，支持PB级消息的存储。

最近，在 PyCon China 2018 的北京主会场、成都和杭州分会场都分享了我们最新的工作 Mars，基于矩阵的统一计算框架。本文会以文字的形式对 PyCon 中国上的分享再进行一次阐述。 听到 Mars，很多第一次听说的同学都会灵魂三问：Mars 是什么，能做什么，怎么做的。

根据John Matherly的说法，不适当地配置HDFS服务器——主要是Hadoop安装——将会泄露超过5PB的信息。John Matherly是用于发现互联网设备的搜索引擎Shodan的创始人。 这位专家说，他发现了4487个HDFS服务器实例，这些服务器可通过公共IP地址获得，而且不需要身份验证。

阿里云Elasticsearch采集上游数据的方式有很多种，其中有一个与开源完全兼容的方案：通过logstash及logstash周围的强大的plugin实现数据采集。 首先我们需要在ECS中来安装部署logstash，购买阿里云ECS服务，准备1.8以上版本的JDK。

曾经表示“要做伟大的公司”的豌豆荚在今年7月被阿里收购了。这家公司巅峰时期，估值曾高达10亿美元。然而，最后被收购时金额大跳水。据传当时的收购价为2亿美元，不过这一数额并未得到阿里巴巴和豌豆荚的确认。

2019 年即将落下帷幕，这一年对于 Apache Flink 来说是非常精彩的一年，里程碑式的一年。随着这一年在邮件列表发送了超过 1 万封邮件，JIRA 中超过 4 千个 tickets，以及 GitHub 上超过 3 千个 PR，Apache Flink 迎来了快速的发展。

Spark Operator浅析 本文介绍Spark Operator的设计和实现相关的内容. Spark运行时架构 经过近几年的高速发展,分布式计算框架的架构逐渐趋同. 资源管理模块作为其中最通用的模块逐渐与框架解耦,独立成通用的组件.