隐林_个人页

仁人帮探索大数据技术

前两期小帮为大家介绍了仁人帮的大数据定义与大数据在仁人帮后台的应用。今天也不跟大家卖关子了，接下来，小帮为大家奉上的是大数据平台技术的探索。 大数据技术，小帮认为可以分成两个大的层面，大数据平台技术与大数据应用技术。

用炸弹开路——加速到来的证券投资行业人工智能时代

去年开始涉足人工智能技术应用于证券投资领域的研究，将近两年的研究实践，发现公开资料上很多关于人工智能（AI）对证券投资业发展影响的文章都存在几个明显的思维误区：①一个是对人工智能的认识有误。人工智能是个广域笼统的概念，但基石是机器学习，以机器学习算法构建逻辑和规则为基石的人工智能与自动化程序软件及通过数据回测构建起来的以固定逻辑运行的量化投资模型是完全不同的事物，区别就好比活鸡和模型鸡，需要明白自动化软件不是人工智能，国内大多数所谓智能投顾其实还不是真正意义上的人工智能投顾；②另一个是曲解了人工智能在证券投资行业的应用。

阿里云MaxCompute澳大利亚开服，“领跑”人工智能市场

9月27日，阿里云宣布大数据计算服务MaxCompute将于10月10日在澳大利亚正式开服。通过MaxCompute强大的计算能力，阿里云将为澳大利亚市场提供更多的人工智能产品，助力当地企业智能化升级。

MaxCompute SQL原理解析及性能调优

分享内容 介绍了ODPS SQL的基于mapreduce是如何实现的及一些使用小技巧，回顾了mapreduce各个阶段可能产生的问题及相应的处理方法，同时介绍了一些应对数据倾斜的处理方法，最后介绍了一些关于数据集构造、特征选择的技巧帮助减少资源利用。

阿里云机器学习平台的思考

最近读了阿里的《大数据之路-阿里巴巴大数据实践》，对于其机器学习平台也蛮感兴趣，正好阿里出了本新书《解析阿里云机器学习平台》，顺便读了下，感触也不少，结合最近团队机器学习的一些思考，特别在此分享于你。

比自建 Hadoop 还便宜！云栖大会揭秘阿里云数加 MaxCompute

DT时代，越来越多的企业应用数据步入云端。 Hadoop是当下流行的大数据并行计算体系，横向扩展、生态圈成熟等一直是它的主要特点。 阿里云数加MaxCompute (原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。

阿里云MaxCompute香港开服 引入更多人工智能

　9月18日，阿里云宣布大数据计算服务MaxCompute在香港正式开服。通过MaxCompute强大的计算能力，阿里云将为香港市场提供更多的人工智能产品，助力当地企业智能化升级。

iphoneX都面世了，你的数据仓库还停留在诺基亚时代吗?

    刚刚过去的苹果秋季发布会上，万众瞩目的iPhoneX 手机亮相。十年前，首代iPhone开启了颠覆键盘功能机的序幕，十年过去了，智能触屏手机已经彻底普及。     关注个人智能手机升级的IT人士，是否也了解你的企业数仓有没有跟上潮流趋势呢?是否升级到弹性分布式系统。

阿里巴巴下一代数据集成技术

数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在企业数据集成领域，已经有了很多成熟的框架可以利用。目前通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统，这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。

1次演讲13次提到技术，马云在阿里巴巴年会上都说了什么？

阿里巴巴是一个奇迹，18年前的今天，阿里巴巴只有18人和50万人民币，18年后的今天，拥有54421名员工，市值4426亿美金，亚洲第1，全球第6。慕名上门拜访的各国高级政要更是络绎不绝，企业做到这份上，阿里巴巴算是独一家。

阿里数据仓库实践分享

数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

MaxCompute常见错误汇总（更新ing）

从今天开始，小编会为大家陆续解读MaxCompute常见问题，帮助大家快速上手MaxCompute，玩转大数据计算平台。

阿里巴巴MaxCompute亮相VLDB2017

[摘要]8月28日-9月1日，第四十三届VLDB会议在德国慕尼黑举行。阿里巴巴在本届VLDB展区重点展示了MaxCompute、ApsaraDB、AliSQL、AnalyticDB和POLARDB等数据库和数据处理技术，引起现场与行业专家学者的注意和交流探讨。

DT时代已经悄然来临，IT人您跟上了吗？

什么是DT时代？         在2015年中国（深圳）IT领袖峰会上，马云发表演讲：过去7年我们从互联网创业到互联网产业，很快进入互联网经济，而且正在从IT走向DT时代，也许昨天称为IT领袖峰会，未来要称DT领袖峰会，DT不仅仅是技术提升，而是思想观念的提升。

数据智能需求旺盛 阿里云MaxCompute 2.0华南区开服

8月31日，阿里云宣布将在深圳区域正式部署大数据计算服务MaxCompute，以进一步提升对华南区域客户服务的响应速度，并推动该地域人工智能产业的发展。 此前，凭借大规模计算存储、多种计算模型、强数据安全和低成本的优势，MaxCompute一直供不应求。

基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

  数加大数据直播系列课程主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台。   本次分享嘉宾是来自阿里云大数据的技术专家祎休   背景与总体思路   数据仓库是一个面向主题的、集成的、非易失的、反映历史变化的数据集合用于支持管理决策。

品《阿里巴巴大数据实践-大数据之路》一书(下)

今天继续谈阿里的这本书，包括数据服务平台、数据挖掘平台、数据建模、数据管理及数据应用，希望于你有启示。 1、数据服务平台 数据服务平台可以叫数据开放平台，数据部门产出海量数据，如何能方便高效地开放出去，是我们一直要解决的难题，在没有数据服务的年代，阿里的数据开放的方式简单、粗暴，一般是直接将数据导出给对方，我想，现在大多公司的开放应该也是如此吧，虽然PaaS喊了这么多年，但真正成就的又有几个？ 即使如阿里，在数据开放这个方向上的探索和实践，至今也有7个年头了，任何关于数据开放毕其功于一役的做法都将失败，任何一次数据开放的改进都是伴随着对于业务理解的深入而成长起来的。

融合大数据能力，解决在存量时代下的力分之困

上月，有微博爆料逻辑思维计划在2018年提交IPO申请，2019年底前创业板上市。虽然很快罗振宇方面就出面否认，但从近日阿里应用分发发布的2017年Q2应用行业报告显示，5家知识付费平台同比增长率均在50%以上，目前用户已达到5000万，知识付费正处于高速增长中。

品《阿里巴巴大数据实践-大数据之路》一书（上）

7月有人推荐阿里巴巴刚出的这本书《阿里巴巴大数据实践-大数据之路》，到亚马逊一看才是预售状态，拍下直到8月才拿到。 翻看目录一看，欢喜的很，正好出差两天就带在身边，由于在机场滞留超过12个小时，就把它读完了。

MaxCompute UDF系列之全角转半角

我们在做文本挖掘处理的时候，需要经常把全角字符转成半角处理，今天为大家提供一个全角转半角的MaxCompute UDF，下载地址见附件。 效果如下： MaxCompute UDF代码如下： package com.

MaxCompute UDF系列之判断字符串中是否包含汉字

为了验证字符串中是否包含中文汉字，今天为大家提供一个自动判断中文字符的MaxCompute UDF，下载地址见附件。 效果如下： MaxCompute UDF代码如下： package com.

MaxCompute UDF系列之身份证校验及15位身份证号码转换成18位

为了验证一些老证件上的身份证号码到底是不是本人，今天为大家提供一个15位身份证号码转换成18位的MaxCompute的UDF，下载地址见附件。 效果如下： MaxCompute UDF代码如下： /*** * 身份证号码构成：6位地址编码+8位生日+3位顺序码

MaxCompute UDF系列之拼音转换

汉字转换拼音在日常开发中是个很常见的问题。例如我们伟大的12306，在地名中输入“WH”，就会出现“武汉”“芜湖”“威海”等地名，输入“WUHU”就会出现“芜湖”。 我们在MaxCompute开发中也会遇到此类问题，今天为大家提供一个转换的UDF，下载地址见附件。

MaxCompute帮助创业公司中减轻MySQL存储压力

从0到1 在我们公司初创的时候，组齐了三人的团队就开始做产品研发。当时整条业务线的东西都需要我们自己写，要在短时间内把东西做出来，效率是非常关键的。 我们的产品模式本身其实是需要验证的。创业有很多不确定性，在上线之前没人能知道，我们的一个项目究竟能达到多大的规模，能做到什么样。

【直播沉淀】基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

数加大数据直播系列课程，主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题，分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台。 本次分享嘉宾是来自阿里云大数据的技术专家祎休！ 演讲1：背景与总体思路 演讲2：架构及模型设计

MaxCompute SQL引用第三方Base64JAR实现编解码

我们通过阿里云MaxCompute 和大数据开发套件，引用第三方的Base64 JAR，来实现字符串的编码、解码；

人工智能居然会模仿人类品酒

《机器学习实践应用》作者傲海，手把手带领大家在机器学习PAI上，体验各种酒的口感，完成整个机器“品酒”的过程，内容包含：如何上传数据、如何做数据预处理、如何分类、如何评估四个部分，全程在线实操，并产出结果。

阿里巴巴大数据实践之数据建模

随着DT时代互联网、智能设备及其他信息技术的发展，数据爆发式增长，如何将这些数据进行有序、有结构地分类组织和存储是我们面临的一个挑战。 为什么需要数据建模 如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地放置；如果把数据看作城市的建筑，我们希望城市规划布局合理；如果把数据看作电脑文件和文件夹，我们希望按照自己的习惯有很好的文件夹组织方式，而不是糟糕混乱的桌面，经常为找一个文件而不知所措。

DT时代，与坚持梦想者同行！

数据对于每个人来讲，并不陌生，我们早已结识，文明的进步不断在解密数据的尘封往事。 DT时代，数据呈爆发式增长，人类社会从未面临过如此规模的计算能力挑战，工程师们正站在了人类从未踏足的领域，没有人能提供可参考的技术或者方案。

odps是什么?

ODPS（Open Data Processing Service），原是阿里云从 09年开始自研的大规模批量计算引擎，2016 年更名为MaxCompute。2022云栖大会上，阿里云ODPS全新升级为一体化大数据平台，存储、调度、元数据一体化融合 ，从 Processing 升级为 Platform，即 Open Data Platform and Service。提供了离线计算、实时交互式分析、机器学习等可扩展的智能计算引擎，满足用户多元化数据计算需求。

MaxCompute（原ODPS） Studio 2.7.0 版本发布，让代码效率更高

新功能: 作业管理: 显示作业排队队列 作业管理: 显示正在执行作业的历史状态转换序列 SQL编辑器: 跳转到 UDF 和 Table 的声明 SQL编辑器: 代码折叠和括号匹配支持 SQL编辑器: 常用语句模板支持 UDF: UDF 项目模块的 Maven 支持 UDF: UDF 一

MaxCompute原（ODPS）创建dual表

大数据平台的发展会降低程序员的价值吗？

针对本题，粗略地把研发人员的能力分为以下3类： 业务逻辑研发的能力：将业务逻辑转化为代码实现的能力。 系统架构的能力：高并发高负荷系统的设计实现能力，系统底层服务的研发能力。 特殊领域： 机器学习，自然语言，搜索推荐，语言与框架的开发等特殊的小众领域，暂不做讨论。

阿里云数加合作伙伴-袋鼠云获A轮融资，成立一年半获三轮投资超亿元

创投市场再次风起。2017年7月，袋鼠云宣布，获得来自戈壁创投主投、元璟资本跟投的A轮融资，相对于当前冷淡的投资市场，此举也再次引发了行业对大数据、云计算技术创新企业的关注。据袋鼠云CEO陈吉平（花名：拖雷）介绍，获得的资金将投入到三个方面：数据智能产品研发、高端数据智能人才的引进和培养、袋鼠云品牌打造和市场推广。

为什么MaxCompute采用列式存储？列式存储和行式存储的主要区别在哪

从MapReduce的执行来看如何优化MaxCompute（原ODPS） SQL

SQL基础有这些操作（按照执行顺序来排列）： from join(left join, right join, inner join, outer join ,semi join) where group by select sum distinct count order by 如果我们能理解mapreduce是怎么实现这些SQL中的基本操作的，那么我们将很容易理解怎么优化SQL写法。

大数据环境下该如何优雅地设计数据分层

发个牢骚，搞大数据的也得建设数据仓库吧。而且不管是传统行业还是现在的互联网公司，都需要对数据仓库有一定的重视，而不是谈一句自己是搞大数据的就很厉害了。数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了etl、调度、建模在内的完整的理论体系。

每个人都应该知道的25个大数据术语

如果你初来乍到，大数据看起来很吓人!根据你掌握的基本理论，让我们专注于一些关键术语以此给你的约会对象、老板、家人或者任何一个人带来深刻的印象。 让我们开始吧： 1.算法。“算法”如何与大数据相关?即使算法是一个通用术语，但大数据分析使其在当代更受青睐和流行。

大数据分析平台产品对比之MaxCompute 篇

之前尝试使用过一些国内外的云产品，特别是大数据分析型产品，例如：亚马逊的EMR、Redshift，Google的Bigquery以及阿里云的MaxCompute。相信大多数人对亚马逊的EMR、Redshift，Google的Bigquery都比较了解。

一场变美盛宴后面的大数据故事

小红唇和阿里云大数据平台的牵手要从2016年5月份说起。随着小红唇业务的发展，用户量和内容量不断增加，迫切需要推出个性化功能，增加用户的使用时长和用户粘度。对于一个没有大数据/机器学习经验和技术储备，并且开发人员有限的年轻团队，在业务快速发展的情况下，如何在非常有限的开发资源和不影响正常业务开发的前提下，快速建立起自己的推荐系统，成为摆在小红唇技术团队面前一个不小的挑战。

MaxCompute助力北斗大数据，千寻位置3秒实现厘米级定位

　 无人机、无人车……随着智能无人技术的兴起，背后的核心技术越加受到业界的关注。近日，全球最大地基增强系统运营商千寻位置成功研发出全球首个支持A-北斗的辅助定位平台FindNow, 大大缩短定位时间;结合使用阿里云大计算力量的千寻云踪-位置数据接入服务，为全国智能产业提供厘米级乃至毫米级高精度位置定位，快速＋精准定位，为汽车导航、精准农业、防灾减灾等行业正迎来新的机遇。

巴黎科技展：“中国技术太厉害了，我们得赶紧学学！”

猜猜我在哪儿？   没错，这里是巴黎VivaTech科技展现场！阿里云携众多黑科技亮相，并宣布年内在欧洲节点部署MaxCompute服务，为同类技术出海之最！   ET城市大脑、ET工业大脑、ET医疗大脑和ET环境大脑这些人工智能领域的新案例，老外问的问题差点答不完！     远在时尚之都的国际友人，纷纷忍不住纷纷点赞，请看大屏幕： （小编外语不好，如下字幕如有雷同，纯属巧合。

采云间DPC迁移方案实施计划

迁移计划概述： 第一阶段：前期沟通&准备 1、 请先熟悉Dataworks的相关操作，比如节点的新增、执行、调度运维等相关操作； 2、 本次迁移只把用户在采云间里面的任务迁移到DataWorks里面，需要用户提前确认采云间用到的odps项目在DataWorks中是否已经创建且可用；如果用户

MaxCompute SQL Row_Sequence 实现列自增长

通过MaxCompute UDF来给海量数据的每一行产生唯一的id

MaxCompute( 原ODPS）下的表分区解释

大数据计算服务（MaxCompute，原名 ODPS，https://www.aliyun.com/product/odps）是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

MaxCompute百问集锦（持续更新）

大数据计算服务（MaxCompute，原名 ODPS，https://www.aliyun.com/product/odps）是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。