隐林_个人页

【转载】时隔一年多，我又用起了 Superset

去年 6 月份在流利说提离职后，leader 问我为什么要走。我说，流利说有很健全的数据处理基础设施，但这不是所有的公司都会有的条件，所以我想看看在一个基建不全的创业公司我是否也可以像现在一样做的好。

读透《阿里巴巴数据中台实践》，其到底有什么高明之处？

最近阿里巴巴分享了《阿里巴巴数据中台实践》这个PPT（自行搜索原始文章），对于数据中台的始作俑者，还是要怀着巨大的敬意去学习的，因此仔细的研读了，希望能发现一些不一样的东西。 读这些专业的PPT，实际是非常耗时的，你需要把这些PPT外表的光鲜扒光，死抠上面的每一个字去理解底下隐藏的含义，然后跟你的已有知识体系去对比，看看是否有助于完善自己的认知，对于自己不理解的，还需要经常去检索相关的文档。

阿里巴巴飞天大数据架构体系与Hadoop生态系统

先说Hadoop 什么是Hadoop？ Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统，主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算，充分利用集群的威力进行高速运算和存储。

交易数据清算从8小时缩至1.5小时，飞天大数据平台MaxCompute解决余额宝算力难题

关于天弘：天弘基金作为国内总规模最大的公募基金，阿里云MaxCompute为我们构建了企业级一站式大数据解决方案。MaxCompute对于海量数据的存储、运维、计算能力强大且安全稳定，阿里云服务将原本需要清算8小时的用户交易数据缩短至清算1个半小时，同时减少了本地服务器部署压力，在显著提升我们工作效率的同时减少了大量开发成本和人力成本，使我们能更专注于业务发展，为用户提供高品质、高价值的金融服务。

【转载】为什么只有好超市，才敢卖熟牛油果？

本文授权转载自“硅谷洞察”（微信公众号ID: Guigudiyixian) 版权归“硅谷洞察”所有，未经许可不得二次转载 在很多人的印象里，去市场或超市买水产海鲜，谈不上是一件多么享受的事情。但这两年突然爆红的盒马鲜生，则颠覆了人们的这种印象。

【转载】DT时代，阿里不再藏住“技术公司”标签

来源 | 智能相对论（ID：aixdlun） 虽然Jack马先生总是口出惊人之语，但事实证明他说的话总是不断被应验。 2016年的“新零售”现在已经是公认的零售新篇章，而2014年的“人类正从IT时代走向DT时代”，也在逐渐变成现实——不管什么样的企业，都习惯要“大数据”一下。

【转载】刚刚又传来好消息，硬核!新一代大国重器！MaxCompute

作者：杨国英 十年前，马云、马化腾和李彦宏坐在一起开会聊起它，马化腾说为时过早，李彦宏说没有新意，只有马云说，如果我们不做，将来会死掉！为了做它，整个公司几乎吵到分裂！ 然而十年后的今天，它已经成为新一代大国重器，中国最硬核的技术，与美国巨头抗衡的唯一中国力量。

优酷背后的大数据秘密

大家好，我是门德亮，现在在优酷数据中台做数据相关的事情。很荣幸，我正好见证了优酷从没有MaxCompute到有的这样一个历程，因为刚刚好我就是入职优酷差不多5年的时间，我们正好是在快到5年的时候，去做了从Hadoop到MaxCompute的这样一个升级。

基于MaxCompute/Dataworks实现数据仓库管理与全链路数据体系

前言 　　就这样，大数据领域蓬勃发展了好几年，有很多伙伴执迷于技术，成为了分布式计算与存储的领域专家。也有很多伙伴执迷于数据，成为了行业的数据研发专家。当然还有很多小伙伴，热衷于工具系统开发，成为了数据技术专家。

阿里小二的日常工作要被TA们“接管”了！

昨天有人偷偷告诉我说    阿里巴巴其实是一家科技公司！ 我想了整整一夜 究竟是谁走漏了风声 那么重点来了，阿里到底是如何在内部的办公、生活中，玩转“黑科技”的呢？ AI取名：给你专属的“武侠”花名 花名是阿里巴巴独特的文化，也是阿里员工独一无二的“身份”。

【阿里云峰会出海论坛】MaxCompute助力小影短视频走向全球化

数字时代，中国已经成为世界互联网的中心，小影（海外版称作为VivaVideo，后简称VivaVideo）作为国内首批短视频出海企业，借助统一的云计算平台快速实现全球业务的线上部署，已经让每一行代码都获得全球化的能力。

阿里云大数据平台MaxCompute用户指南官方电子版下载

阿里云大数据平台MaxCompute用户指南

【转载文章】记录一次MySQL两千万数据的大表优化解决过程，提供三种解决方案

问题概述 使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。

解决MaxCompute SQL count distinct多个字段的方法

按照惯性思维，统计一个字段去重后的条数我们的sql写起来如下： Distinct的作用是用于从指定集合中消除重复的元组，经常和count搭档工作，语法如下 COUNT( { [ DISTINCT ] expression ] | * } ) 这时，可能会碰到如下情况，你想统计同时有多列字段重复的数目，你可能会立马想到如下方法： select count( distinct col1 , col2 , col3 , .......) from table 但是，这样是有问题的，如果值包含空，那么我们的结果是什么呢？如果你实验过，正如你实验的一样，结果会比实际少。

MaxCompute SQL随机抽取N行数据

本文将为您介绍如何对数据随机取出数据的前 N 条数据。 示例数据 目前的数据，如下表所示： empno ename job sal 7369 SMITH CLERK 800.0 7876 SMITH CLERK 1100.

中小企业如何借力工业互联网抵抗死亡潮?

对于不同的企业来说，跨步进入工业互联网的核心问题并不是“怎么做”，而是“能做什么”、以及“能不能做”。 尤其是在政策大力推动企业“上云上平台”的过程中，企业投入人力和成本，那么“上云了之后能做什么”就成为了很多中小企业主最大的疑问和顾虑。

国内云数仓排行独占一档，揭秘阿里云EB级大数据计算引擎MaxCompute

日前，全球权威咨询与服务机构Forrester发布了《The Forrester WaveTM: Cloud Data Warehouse, Q4 2018》报告。这是Forrester Wave首次发布关于云数仓解决方案（Cloud Data Warehouse，简称CDW）的测评。

阿里如何做到百万量级硬件故障自愈？

阿里工业互联网平台“思考”：一场从0到1的蜕变

离线数据同步神器：DataX，支持几乎所有异构数据源的离线同步到MaxCompute

概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

数据脱敏平台-大数据时代的隐私保护利器

什么是数据脱敏 又称数据漂白、数据去隐私化或数据变形。是对核心业务数据中敏感的信息，进行变形、转换、混淆，使得对业务数据中的身份、组织等隐私敏感信息进行去除或掩盖，以保护数据能被合理、安全地利用。

华北1 ECS 数据如何免费且高速同步到华北2MaxCompute

用户业务早期开在了华北1青岛，想搭数据仓库，但华北1又没有MaxCompute，怎么办？如果华北1 ECS跨Region数据同步到华北2MaxCompute，是否产生额外的带宽费用和同步性能差？ 今天小编亲自测试下华北1 ECS 通过经典网络数据同步到华北2MaxCompute，打消大家对费用和性能的担心。

阿里云 x 蒙牛 | 打通数据孤岛，基于MaxCompute实现产销协同的智慧运营

每一个公司转型的背后 都有着不为人知的秘密 今天，让我们一起探秘 内蒙古蒙牛乳业（集团）股份有限公司是中国发展速度最快的乳品企业之一，2017年实现收入601.56亿元，位列全球乳业第10位，与2016年同比收入增长12%。

Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南

DataX-On-Hadoop即使用hadoop的任务调度器，将DataX task(Reader->Channel->Writer)调度到hadoop执行集群上执行。这样用户的hadoop数据可以通过MR任务批量上传到ODPS、RDS等，不需要用户提前安装和部署DataX软件包，也不需要另外为DataX准备执行集群。

MaxCompute - ODPS重装上阵　第五弹 - SELECT TRANSFORM

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。

[MaxCompute MapReduce实践]通过简单瘦身，解决Dataworks 10M文件限制问题

用户在DataWorks上执行MapReduce作业的时候，文件大于10M的JAR和资源文件不能上传到Dataworks，导致无法使用调度去定期执行MapReduce作业。 解决方案： jar -resources test_mr.

自建Hadoop迁移阿里云MaxCompute实践-持续更新2018/9/13

Hadoop迁移MaxCompute的文章教程应该不少，比如前不久刚刚发布的《Hadoop数据迁移到MaxCompute最佳实践》https://help.aliyun.com/video_detail/88429.

MaxCompute/DataWorks账号权限及依赖整理-持续更新

经常有人问在MaxCompute和Dataworks中，主子账号的权限分别对应哪些操作，是否可以用子账号创建Project？是否用子账号购买资源？子账号是否可以做数据同步？ 今天抽时间整理了一些用户经常遇到的MaxCompute/DataWorks权限问题，后续还会逐步更新。

MaxCompute+ Geabase 大话健康知识图谱取经之路

小叽导语：正如Google的高级搜索副总裁Amit Singhal在介绍知识图谱时提到的：“The world is not made of strings , but is made of things.” 大千世界，万物相联，借助知识图谱，实现了搜索领域的things, not strings。

“阿里巴巴大数据系统体系”学习笔记-纲领篇

‘你是做什么的？’ ‘数据产品经理’看到对方一脸懵逼之后，再补充一句‘大数据相关的工作’ ‘哦～，高大上，不懂’ 过去5年，‘大数据’是最火的一个概念，被纷繁解读。在我看来，数据跟石油、煤炭一样是一种资源。

12分钟即达背后的智能支撑

京信通信：数据智能为生产调试“增效瘦身”

“数据驱动测试优化，突破自动测试边界，赋能智慧测试新模式。”——京信智能制造副总经理葛鑫 “进入车间，映入眼帘的是一条长约20 米的 O 型生产线，产线前三名工人和几个机器人正协同工作，将各种元器件的印刷线路板（PCBA 板）与产品壳体组装起来。

阿里巴巴云计算进驻水泥行业 MaxCompute助力企业“智慧大脑”

7月10日，山东能源淄矿集团和阿里云计算公司签署协议，共同推动新旧动能转换合作项目。其中，淄矿东华水泥智慧大脑项目，是淄矿东华水泥联合阿里云打造的新旧动能转换标杆项目。这也是淄矿集团与阿里云合作签约后的首个落地项目。

MaxCompute帮你五步实现用户画像的数据加工

重磅！MaxCompute助力阿里开源自研语音识别模型DFSMN，准确率高达96.04%

阿里开源语音识别模型DFSMN 在近期举行的云栖大会武汉峰会上，装有DFSMN语音识别模型的“AI收银员”在与真人店员的PK中，在嘈杂环境下准确识别了用户的语音点单，在短短49秒内点了34杯咖啡。此外，装备这一语音识别技术的自动售票机也已在上海地铁“上岗”。

基于MaxCompute构建Noxmobi全球化精准营销系统

摘要：大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

最好用的工兵铲—MaxCompute Studio，来了解下！

摘要： 在大数据计算北京高端峰会上，阿里云计算平台高级专家薛明深入介绍了阿里巴巴大数据计算平台开发利器—MaxCompute Studio。一站式的 IDE，可以快速完成数据浏览和管理、进行基于 SQL 和 UDF 的数据开发，更具备完善的作业分析和优化辅助等功能。

MaxCompute在阿里妈妈数据字化营销解决方案上的典型应用

摘要 大数据计算服务MaxCompute是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案目前已在阿里巴巴内部得到大规模应用。来自阿里妈妈基础平台大规模数据处理技术专家向大家分享了MaxCompute在阿里妈妈数据字化营销解决方案上的典型应用经验。

MaxCompute产品最新进展 -- 从马力到计算力

摘要本文从马力作为功率衡量标准为切入点介绍了大数据领域的计算力衡量标准TPCBB以及MaxCompute2.0在Big Bench上的卓越表现。同时详细地分享了取得优异成绩背后的产品在最新有哪些进展帮助大家全面的了解MaxCumpute2.0。

ofo在MaxCompute的大数据开发之路

摘要：2017年，ofo向市场投入了一千多万辆单车，这些单车的投放、运营和调度需要大量数据的支持。本文将从ofo选择MaxCompute的理由以及数据完整性、任务调度、Proxy服务三个方面的实战应用，分享ofo 在MaxCompute的大数据开发之路。

如何在MaxCompute上处理存储在OSS上的开源格式数据

MaxCompute助力OSS支持EB级计算力

一、 MaxCompute是什么 你的OSS数据是否作堆积在一旁沉睡已久存储成本变为企业负担你是否想唤醒沉睡的数据驱动你的业务前行MaxCompute可以帮助你高效且低成本的解决这些问题通过对海量数据进行分析和计算来实现勾勒用户画像、提升营销转化、挖掘产品优化方向、预测业务发展等丰富的业务场景。

你的数据安全么？Hadoop再曝安全漏洞| 黑客利用Hadoop Yarn资源管理系统未授权访问漏洞进行攻击

4月30日，阿里云发现，俄罗斯黑客利用Hadoop Yarn资源管理系统REST API未授权访问漏洞进行攻击。 Hadoop是一款由Apache基金会推出的分布式系统框架，它通过著名的 MapReduce 算法进行分布式处理，Yarn是Hadoop集群的资源管理系统。

DataWorks支持PyODPS类型任务

昨天，DataWorks推出了PYODPS任务类型，集成了Maxcompute的Python SDK，可在DataWorks的PYODPS节点上直接编辑Python代码操作Maxcompute，也可以设置调度任务来处理数据，提高数据开发效率。

MaxCompute(ODPS)上处理非结构化数据的Best Practice

随着MaxCompute（ODPS）2.0的上线，新增的非结构化数据处理框架也推出一系列的介绍文章，包括 MaxCompute上如何访问OSS数据, 基本功能用法和整体介绍，侧重介绍读取OSS数据进行计算处理； 本文：MaxCompute(ODPS)上处理非结构化数据的Best Practice。

DRDS到MaxCompute（原ODPS）数据归档性能优化测试

MaxCompute auto increment PythonUDF

阿里云MaxCompute被Forrester评为全球云端数据仓库领导者

参考消息网3月19日报道 日前，全球权威调研机构佛瑞斯特研究公司（Forrester）发布《2018年一季度云端数据仓库》报告。报告对大数据服务商的主要功能、区域表现、细分市场和典型客户等进行了全面评估，最终AWS、阿里云、谷歌、微软四大巨头杀入全球一线阵营。

为了让开发者写MaxCompute SQL更爽，DataWorks 增强SQL 编辑器功能

众所周知，数据开发和分析的同学每天都要花大量时间写MaxCompute SQL；Dataworks作为数据开发的IDE直接影响着大家的开发效率，这次新上线的Dataworks我们在编辑体验上做了很多工作，在前端实现MaxCompute SQL和编辑器参数等扩展语法的AST解析，并实现更好更智能的代