隐林_个人页

阿里云大数据计算平台的自动化、精细化运维之路

作者简介：   　　范伦挺 　　阿里巴巴 基础架构事业群-技术专家 　　花名萧一，2010年加入阿里巴巴，现任阿里巴巴集团大数据计算平台运维负责人。团队主要负责阿里巴巴各类离在线大数据计算平台（如MaxCompute、AnalyticDB、StreamComput

MIT评出全球十大突破性技术 阿里巴巴连摘两项

2月21日下午，美国权威科学杂志《麻省理工科技评论》(MIT Technology Review)发布2017年全球十大突破性技术榜单。在与Google、微软、IBM等科技巨头的较量中，阿里巴巴分别入选“强化学习”和“刷脸支付”两大突破性技术榜单。

漫谈阿里大数据

目前人人都在谈大数据，谈DT时代，但是，大数据是什么，每个人都有自己的一个看法，好比盲人摸象，每个都认为自己摸到是真正的大象。我也担心我所看到的，只是大数据的冰山一角，毕竟，将引领整个人类下一次变革的大数据，不是几篇文章就能说清楚的。

数加平台协助汇合营销快速行动，捕获转瞬即逝的商机。

“对于创业公司来讲，如果不能在业务端快速行动，机会转瞬即逝。”汇合营销CTO欧阳明如是说。“数加的按需计费避免了资源空闲，从年初的对比来看，数加在满足同等业务需求基础上能够减少一半的支出，有效地节约了成本开支，帮助创业型企业快速成长。

借助阿里云数加，小小的美甲行业被美甲帮玩出了天价。

“数加对于创业公司来说是一个非常好的平台，可以在有限的投入下，充分地享受到阿里云已经有的技术和经验，站在巨人肩膀上，从而少走弯路。针对海量数据进行处理，也是一个特别有优势的地方。

与阿里云整个生态体系共同成长，更快更好的为房地产行业客户提供高价值的服务。

“最早是新业务要做，但是买服务器来不及，管理员没到位，而且新业务的成本很高，是否能成功也是未知，因此明源决定采用阿里云，等资金和人到位再搬到自己内部。然而就是这种误打误撞，却让明源抓住了一个很好的机会走在了正确的轨道上。

创建RDS到分析型数据库AnalyticDB数据实时同步

数据传输服务DTS支持RDS到分析型数据库AnalyticDB之间的数据实时同步。通过DTS提供的RDS->AnalyticDB实时同步功能，可以将将企业数据集中分析，实现企业内部各种BI、CRM、实时报表系统等。

盘点全球最热门十家大数据公司中国占据三席

近两年来，大数据发展浪潮席卷全球。研究机构IDC预测，全球大数据与分析市场规模将由2015年的1220亿美元，在5年间成长超过50%，并在2019年底达到1870亿美元的规模。

阿里云与国家天文台成立天文大数据联合研究中心

免费开通大数据服务：https://www.aliyun.com/product/odps 　2017 年 1 月 22 日，中国科学院国家天文台与阿里云正式成立“天文大数据联合研究中心”。 中国科学院国家天文台与阿里云在京举办了合作协议签字暨研究中心揭牌活动。

全民直播牵手阿里云，技术升级触发直播新体验

杭州治堵有“智慧” 阿里云数加激活城市大脑

城市车辆逐年增长，道路通行关系市民生活，也考验城市管理者智慧。除了加大基础设施投入，杭州对大数据的分析和应用成为治堵新发力点。在路网规划、精确治堵、科学调配资源等方面，都能看到“城市大脑”和大数据发挥的“智慧”作用。

开启数据智慧，阿里云大数据团队调研高新区

随着“云计算”、“互联网”、“物联网”的快速发展，大数据（Big Data）也吸引了越来越多的人关注，成为社会热点之一。大街小巷不论是技术人员、咨询人士以及各行各业的精英达人都在探讨着“大数据”，“大数据”显然已经成为新一代“网红”。

PTC联手阿里云共同提高中国工业4.0认可度

“很多企业对一些新事物的接受速度不够快，这不能怪我们的企业家，这其实是因为我们整个市场要做这样的转型，这本身就是一个比较复杂和需要下定决心的事情。”PTC（美国参数软件公司）全球副总裁兼中国区总裁寿宇澄这样评价中国工业企业对转型的犹疑态度。

阿里云参与两大国家工程实验室获批，人工智能继续深入工业制造

近日，国家发改委公布大数据国家工程实验室名单，由阿里云参与的“工业大数据应用技术国家工程实验室”和“大数据系统软件国家工程实验室”均获批复认定，分别是工业大数据应用及大数据系统软件领域的唯一国家级工程实验室。

数据新能源驱动智慧新世界：数据新能源时代来临

免费开通大数据服务：https://www.aliyun.com/product/odps 阿 里巴巴集团董事局主席马云，在2016年10月云栖大会上首次提到“五新”的趋势，分别是新零售、新金融、新制造、新技术和新能源。

从声学模型算法角度总结 2016 年语音识别的重大进步

免费开通大数据服务：https://www.aliyun.com/product/odps 　在过去的一年中，语音识别再次取得非常大的突破。IBM、微软等多家机构相继推出了自己的 Deep CNN 模型，提升了语音识别的准确率；Residual/Highway 网络的提出使我们可以把神经网络训练的更加深。

机器在俯视人类，是我们的希望还是恐惧？

免费开通大数据服务：https://www.aliyun.com/product/odps 你看过“I，Robot”这部电影吗？如果你看过，是不是还记得这样一个场景：当警探史普纳进入庄严威武的USR公司时，公司大厅那个巨大的俯身凝视人类的机器人塑像？谈到 “I，Robot”观感时，有人使用了“不寒而栗”这个词，“感觉到发自脊背的寒意”。

你了解的技术宅是这样吗？

闷骚！邋遢！ 黑白灰！加班是唯一爱好？他们不用睡觉的吧？请不要再给我们加这些标签了！！！ 我们也主动撩妹子！我们也天天洗澡的！我们也有洋气的衣服！谁tm爱加班！你才不用睡觉！我们一摸键盘就开挂，我们钱多事儿少活儿还好。

Hadoop数据迁到MaxCompute

机器学习帮助您挖掘金融欺诈用户

通过最佳实践帮助您实现上述案例效果 Step1：数据导入MaxCompute 1.1 创建需要上传的本地数据 人员管理表： ign="top"> 字段名 含义 类型 描述 start_point 边的起始节点 s

机器学习预测农民是否可以得到贷款

通过最佳实践帮助您实现上述案例效果 Step1：数据导入MaxCompute 1.1 创建需要上传的本地数据 贷款预测表：(今年申请贷款者) ign="top"> 字段名 含义 类型 描述 id 数据唯一标识符 s

机器学习为您揭秘雾霾怎么形成

通过最佳实践帮助您实现上述案例效果 Step1：数据导入MaxCompute 1.1 创建需要上传的本地数据 北京天气指标表： ign="top"> 字段名 含义 类型 描述 time 日期 string 精

机器学习实现海量新闻自动分类

通过最佳实践帮助您实现上述案例效果 Step1：数据导入MaxCompute 1.1 创建需要上传的本地数据 新闻文本表： ign="top"> 字段名 含义 类型 描述 category 新闻类型 string

公众趋势分析能干什么？

MaxCompute访问TableStore(OTS) 数据（20170601更新）

MaxCompute作为阿里云大数据平台的核心计算组件，承担了集团内外大部分的分布式计算需求。

基于MaxCompute的图计算实践分享-图加载过程

一、前言 MaxCompute Graph 是基于飞天平台实现的面向迭代的图处理框架，为用户提供了类似于 Pregel 的编程接口。MaxCompute Graph（以下简称 Graph ）作业包含图加载和计算两个阶段： 加载，将存储在表中的数据载入到内存中，以点和边的形式存在；

基于MaxCompute的图计算实践分享-常见问题解决及优化指南

常见问题解决及优化指南

【阿里云大数据产品MaxCompute（原名ODPS）】DT时代企业数据资产的护卫舰

MaxCompute设计之初就是面向多租户，确保租户的数据安全是MaxCompute的必备功能之一。在MaxCompute系统的安全设计和实现上，MaxCompute的工程师们会遵循一些经过实践检验的安全设计原则（如Saltzer-Schroeder原则）。

基于MaxCompute的图计算实践分享-解析图加载过程

一、前言 MaxCompute Graph 是基于飞天平台实现的面向迭代的图处理框架，为用户提供了类似于 Pregel 的编程接口。MaxCompute Graph（以下简称 Graph ）作业包含图加载和计算两个阶段： 加载，将存储在表中的数据载入到内存中，以点和边的形式存在； 计算，遍历内

基于MaxCompute的图计算实践分享-Aggregator机制介绍

Aggregator是MaxCompute-GRAPH作业中常用的feature之一，特别是解决机器学习问题时。MaxCompute-GRAPH中Aggregator用于汇总并处理全局信息。本文将详细介绍的Aggregator的执行机制、相关API，并以Kmeans Clustering为例子说明Aggregator的具体用法。

基于MaxCompute的图计算实践分享-Resolver简介

Resolver简介 在学习使用MaxCompute-Graph计算模型时，resolver是一个不容易理解的概念。在MaxCompute帮助文档 https://help.aliyun.com/document_detail/27903.

完成数据的打通-豌豆荚被阿里巴巴收购后的168天

曾经表示“要做伟大的公司”的豌豆荚在今年7月被阿里收购了。这家公司巅峰时期，估值曾高达10亿美元。然而，最后被收购时金额大跳水。据传当时的收购价为2亿美元，不过这一数额并未得到阿里巴巴和豌豆荚的确认。

618粉丝狂欢节来了，你的小邮局爆仓没有？

618大促马上来了，快递企业包裹量又要剧增了。数据显示，2017年全行业快件量会接近400亿件。 虽然各大快递公司都事先增加了人员、设备、仓库，提升了运能，但面临的压力仍旧空前。

微信“小程序" 未完， 数据的"小程序" 又来了

微信小程序是一种不需要下载安装即可使用的应用，它实现了应用“触手可及”的梦想，用户扫一扫或者搜一下即可打开应用。也体现了“用完即走”的理念，用户不用关心是否安装太多应用的问题。应用将无处不在，随时可用，但又无需安装卸载，非常方便。   在DT时代，数据人的小程序在哪里，今天我们介绍阿里云数加的数

数据让生意更简单，网聚宝创业团队利用数加快速打造核心业务竞争力，在激烈的市场竞争中弯道超车。

网聚宝基于阿里云数加及基础云服务等产品，向客户提供全域大数据SaaS应用，向二次开发者、集成商及合作伙伴提供PaaS API以及DaaS API，从而为客户、合作伙伴、集成商、二次开发者进行全面的大数据赋能。

【大数据技巧】MaxCompute中实现IP地址归属地转换

大数据平台的成熟使得更多种类的非结构化、半结构化的数据分析成为可能其中应用非常广泛的一种场景就是日志分析。在日志类型数据的清洗转换过程中把IP地址转换为归属地又是极为常见的一种场景。

细数阿里云服务器的十二种典型应用场景

文章转载：小白杨1990 如今，阿里云的产品可谓是多种多样，纷繁复杂。面对各种各样的技术和产品，ECS、RDS、OSS…等等一系列的东西，很容易让人找不到头绪，尤其是刚刚开始接触网站建设的朋友。阿里云湖北授权服务中心武汉捷讯结合阿里云官网的资料，针对建站相关的内容为大家整理一些阿里云典型的应用场景

阿里云工程师用机器学习破解雾霾成因

日前，一位署名为“傲海”的阿里云工程师在云栖社区发布了一篇分析北京雾霾成因的文章。作者通过机器学习算法分析发现，北京重度雾霾天的出现同大气中二氧化氮的含量存在强相关性。 人们很早就知道硫酸盐是雾霾形成的重要原因。住宅及发电厂的燃煤释放大量二氧化硫，随后转化为硫酸颗粒造成污染。但困扰科学家的是，二氧

【大数据干货】轻松处理每天2TB的日志数据，支撑运营团队进行大数据分析挖掘，随时洞察用户个性化需求。

“用户每天产生的日志量大约在2TB。我们需要将这些海量的数据导入云端，然后分天、分小时的展开数据分析作业，分析结果再导入数据库和报表系统，最终展示在运营人员面前。”墨迹天气运维部经理章汉龙介绍，整个过程中数据量庞大，且计算复杂，这对云平台的大数据能力、生态完整性和开放性提

【大数据干货】阿里云数加让企业更专注于业务，助力东润环能高效利用大数据资源

最重要的是采用阿里云数加，东润环能将所有精力都放在业务上，节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本，“相比自建Hadoop物理集群，使用阿里云数加MaxCompute的总成本有较大降低，应用开发效率有很大提高。”东润环能技术研发部总监王云如是说。

企业大数据平台下数仓建设思路

介然（李金波），阿里云高级技术专家，现任阿里云大数据数仓解决方案总架构师。8年以上互联网数据仓库经历，对系统架构、数据架构拥有丰富的实战经验，曾经数据魔方、淘宝指数的数据架构设计专家。 与阿里云大数据数仓结缘 介然之前在一家软件公司给企业客户做软件开发和数仓开发实施，数仓开发和实施都是基于传统的

干货：解码OneData，阿里的数仓之路。

据IDC报告，预计到2020年全球数据总量将超过40ZB(相当于4万亿GB)，这一数据量是2013年的10倍。正在“爆炸式”增长的数据的潜在巨大价值正在被发掘，它有可能成为商业世界的“新能源”，变革我们的生产，影响我们生活。当我们面对如此庞大的数据之时，如果我们不能有序、有结构的进行分类组织

【阿里云网站日志分析实践】通过Log Service日志服务导入MaxCompute分析

日志服务收集的日志除了可以被实时查询外，还可以把日志数据投递到大数据计算服务MaxCompute（原ODPS），进一步进行个性化BI分析及数据挖掘。通过日志服务投递日志数据到MaxCompute具有如下优势： 使用非常简单。用户只需要完成2步配置即可以把日志服务Logstore的日志数

云享团——基于大数据开发套件的增量同步策略

转载自云享团 因为近期遇到用户在做ETL操作导入数据到MaxCompute的时候，对如何设置数据同步策略有疑惑，所以今天第一波我们来聊一下数据的同步策略，根据数据的特性，看看哪些数据适合增量同步，哪些适合全量同步，又是如何实现的？请认真看完下面的介绍，这些问题都不是事儿。

从IaaS到AI，马云为何让阿里云去扛人工智能大旗？

绝大多数人对阿里云的定位仍是国内市场最大的IaaS提供商。不过，随着国内人工智能市场在2016年迎来爆发，阿里开始在人工智能领域发力，阿里云的这一角色正在悄然转变。 布局AI领域，阿里云扛起阿里人工智能大旗 虽然阿里不是BAT三座山头中在人工智能领域的声势最旺的那个（百度躺枪），但事实上阿里从2015年也已经开始了人工智能领域的布局。

【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总

本文列举了Flume采集网站日志到MaxCompute的一些常见问题，欢迎大家补充；

【大数据新手上路】“零基础”系列课程--Flume收集网站日志数据到MaxCompute

概述：大数据时代，谁掌握了足够的数据，谁就有可能掌握未来，而其中的数据采集就是将来的流动资产积累。 任何规模的企业，每时每刻都在产生大量的数据，但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从中分析和挖掘出有价值的

【大数据新手上路】“零基础”系列课程--如何通过大数据开发套件Data IDE玩转大数据

老板每天都要出这些业务数据（销售总额、总交易量、总点击次数、总加入购物车次数、总加入收藏夹次数...），我得想个一劳永逸的方法了…

阿里云数加助力东润环能开启新能源大数据时代

北京东润环能科技股份有限公司（以下简称“东润环能”）是一家从事新能源电力领域的数据信息服务公司，该司开创之初，提供了新能源发电功率预测系统、电网调度管理与支持系统、新能源城市规划与咨询服务等基础性产品，并逐步打造三大新能源互联网智慧服务生态圈平台，包括新能源投资开发生态圈第一平台、绿色电力交易与智.

[大数据新手上路]“零基础”系列课程--如何将ECS上的Hadoop数据迁移到阿里云数加·MaxCompute

 想用阿里云数加·大数据计算服务（MaxCompute），但是现在数据还在hadoop上，怎么办？   别烦恼，跟着我们走，来一次MaxCompute零基础数据迁移之旅～Let’s Go！