预聚合是高性能分析中的常用技术，通过预先聚合降低纬度，从而在查询时大幅减少计算量，提升响应速度。本文介绍了 spark-alchemy 这个开源库中的 HyperLogLog 这一个高级功能，并且探讨它是如何解决大数据中数据聚合的问题。

母亲是老师反而会对孩子的学习成绩造成不利影响？能上网的家庭，孩子通常能取得较好的成绩？影响孩子成绩的最大因素居然是母亲的学历？本文通过机器挖掘算法和中学真实的学生数据为您揭秘影响中学生学业的关键因素有哪些。

问题概述 使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。

摘要：在2017年云栖大会•北京峰会的大数据专场中，来自阿里云的高级技术专家李雪峰带来了主题为《金融级别大数据平台的多租户隔离实践》的演讲。在分享中，李雪峰首先介绍了基于传统IaaS单租户架构做隔离时面临的问题；然后，他重点分享了MaxCompute PaaS层面的多租户的架构以及MaxCompute在安全隔离方面的具体实践。

本文描述了淘宝搜索算法AI技术团使用强化学习算法在淘宝的环境中怎么解决实际的业务问题的以及一些研究探索。

Spark AI 北美峰会的第一天，坊间传闻被证实，Databrics（俗称数砖，亦称砖厂）的杀手锏 Delta 产品特性作为 Delta Lake 项目开源！会前，笔者有幸同砖厂的两位大佬李潇和连城做了个线下交流，谈到 Delta 时被告知会有相关重磅在大会上宣布，但却没想到是开源出去。

日前，一位署名为“傲海”的阿里云工程师在云栖社区发布了一篇分析北京雾霾成因的文章。作者通过机器学习算法分析发现，北京重度雾霾天的出现同大气中二氧化氮的含量存在强相关性。 人们很早就知道硫酸盐是雾霾形成的重要原因。住宅及发电厂的燃煤释放大量二氧化硫，随后转化为硫酸颗粒造成污染。但困扰科学家的是，二氧

手机淘宝（搜索框->摄像头->试妆魔镜）： 最初的设计原型及性能问题： 单线程模型，优先级过低：从Camera获取到CMSampleBufferRef YUV图像帧，拷贝像素数据到内存（多了一次拷贝内存的开销）进行美妆渲染以及一些其他的检测计算，导致的render线程性能消耗过多，CPU负

主要介绍Relational Cache/物化视图的历史和背景，以及EMR Spark基于Relational Cache加速Spark查询的技术方案，及如何通过基于Relational Cache的数据预计算和预组织，使用Spark支持亚秒级响应的交互式分析使用场景。

本文介绍了基于阿里云Elasticsearch搭建ELK日志系统的基本步骤，并对kibana和ES的日志检索和分析做简要介绍，可作为新手入门指导。

本文主要以阿里云大航杯“智造扬中”电力AI大赛 数据为背景，讲述博主自己的比赛经历以及数加平台和机器学习pai的使用经验

今天是2017杭州·云栖大会的第一天，这场科技盛宴吸引了来自全球的参展商、开发者、相关从业人员以及科技爱好者。 在今天上午的主论坛，阿里云总裁胡晓明在发言中重点提及的新一代计算平台MaxCompute将在本次大会中多次亮相。

本文为您介绍如何基于阿里云实时计算快速搭建实时推荐系统。

当前，很多用户的业务数据存放在传统关系型数据库上，例如阿里云的RDS，做业务读写操作。当数据量非常大的时候，此时传系关系型数据库会显得有些吃力，那么会经常有将mysql数据库的数据迁移到[大数据处理平台-大数据计算服务（Maxcompute，原ODPS）(https://www.aliyun.com/product/odps?spm=5176.doc27800.765261.309.dcjpg2)，利用其强大的存储和计算能力进行各种查询计算，结果再回流到RDS。

双11大屏直播地址：https://h5.m.taobao.com/qn/pc/niuba-interview.html?spm=a1zb6.8232479.0.0.qfgVCn#!/interview/10035359

一：背景       分类地图业务是指手淘首页首屏的"分类"入口，目前整个产品已经有300万左右日活跃用户和6000多万pv, 目前产品业务点较多，本文重点介绍点击品类词后的商品二跳页模块，具体如下图所示：当用户点击相应的品类词图片后，则会进入该类目下的商品集合。

文章转载：小白杨1990 如今，阿里云的产品可谓是多种多样，纷繁复杂。面对各种各样的技术和产品，ECS、RDS、OSS…等等一系列的东西，很容易让人找不到头绪，尤其是刚刚开始接触网站建设的朋友。阿里云湖北授权服务中心武汉捷讯结合阿里云官网的资料，针对建站相关的内容为大家整理一些阿里云典型的应用场景

‘你是做什么的？’ ‘数据产品经理’看到对方一脸懵逼之后，再补充一句‘大数据相关的工作’ ‘哦～，高大上，不懂’ 过去5年，‘大数据’是最火的一个概念，被纷繁解读。在我看来，数据跟石油、煤炭一样是一种资源。

概述 FM (Factorization Machine) 算法可进行回归和二分类预测，它的特点是考虑了特征之间的相互作用，是一种非线性模型，目前FM算法是推荐领域被验证的效果较好的推荐方案之一，在诸多电商、广告、直播厂商的推荐领域有广泛应用。

在MaxCompute中，Join操作符的实现算法之一名为"Hash Join"，其实现原理是，把小表的数据全部读入内存中，并拷贝多份分发到大表数据所在机器，在 map 阶段直接扫描大表数据与内存中的小表数据进行匹配。

通俗讲retract就是传统数据里面的更新操作，也就是说retract是流式计算场景下对数据更新的处理方式。

中国青年报原文链接：http://zqb.cyol.com/html/2017-07/28/nw.D110000zgqnb_20170728_2-06.htm 燕山大学信息科学与技术专业出身的95后大学生谭创创，没想到自己会与阿尔茨海默症（俗称“老年痴呆症”）为“敌”。

本文主要是对数据库查询优化器的一个综述，包括查询优化器分类、查询优化器执行过程和CBO框架Calcite。

PyODPS支持用 Python 来对 MaxCompute 对象进行操作，它提供了 DataFrame API 来用类似 pandas 的接口进行大规模数据分析以及预处理，并且可以用 ml 模块来执行机器学习算法。

近期在做shark flume开发框架的测试，该框架是一个简单高效的面向数据的pipeline框架，采用flume java的思想，实现了一套flume java on MaxCompute的library。为了更好的了解shark自己也去阅读了flume java的paper，这里做一些总结，主要

Ha3是阿里巴巴搜索团队开发的搜索引擎平台，它为阿里集团包括淘宝、天猫在内的核心业务提供搜索服务支持。

大数据平台的成熟使得更多种类的非结构化、半结构化的数据分析成为可能其中应用非常广泛的一种场景就是日志分析。在日志类型数据的清洗转换过程中把IP地址转换为归属地又是极为常见的一种场景。

老板每天都要出这些业务数据（销售总额、总交易量、总点击次数、总加入购物车次数、总加入收藏夹次数...），我得想个一劳永逸的方法了…

有人认为爱是性，是婚姻，是清晨六点的吻，是一堆孩子，也许真是这样的，莱斯特小姐。但你知道我怎么想吗，我觉得爱是想触碰又收回手。 ——塞林格 《破碎故事之心》

在数据化营销时代，数据的价值越发显得更为珍贵。那如何让自己的数据发挥价值，也就是说如何让公司沉睡的数据能够驱动业务发展给公司带来商业价值？在营销里面我们都谈精准营销，谈用户画像，那用户画像到底如何构建，用户的标签如何开发？本示例给与最简单的demo，那个大家清楚认识基于MaxCompute如何构建企业用户标签。

oracle 数据类型 转到ODPS，映射关系

回顾大数据技术领域大事件，最早可追溯到06年Hadoop的正式启动，而环顾四下，围绕着数据库及数据处理引擎，业内充斥着各种各样的大数据技术。在云栖社区2017在线技术峰会大数据技术峰会上，阿里云大数据计算平台架构师林伟做了题为《MaxCompute的大脑：基于代价的优化器》的分享，为大家分享阿里巴巴大数据计算服务的大脑——基于代价的优化器的设计和架构。

E-MapReduce的HBase集群中使用Hue，方便用户访问查询数据

在之前的文章中，我们从高级抽象到底层细节各个层面全面介绍了 Flink 网络栈的工作机制。作为这一系列的第二篇文章，本文将在第一篇的基础上更进一步，主要探讨如何监视与网络相关的指标，从而识别背压等因素带来的影响，或找出吞吐量和延迟的瓶颈所在。

ACM SIGKDD 国际会议（简称 KDD）是数据挖掘研究领域的顶级盛会，它每年能收到上千篇来自国际知名大学和研究机构的学术论文投稿，这其中仅有一小部分优秀论文可以被接收。2015年5月18日，KDD组委会发布工业和政府相关方向论文的录用消息，阿里巴巴集团搜索事业部推荐团队投稿的论文被录用，表

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总 运维场景主要有下面几个需求： 整体系统运行指标计算与可视化，可参考：数据仓库介绍与实时数仓案例 问题排查与全链路DEBUG，可参考：【阿里内部应用】基于Blink构建搜索全链路debug系统快速定位搜索问题、【阿里内部应用】基于Bli.

Ranger支持对Hive数据的脱敏处理(Data Masking)，它对`select`的返回结果进行脱敏处理，对用户屏蔽敏感信息。

kafka是一个开源社区常用的消息队列，虽然kafka官方（Confluent公司）提供插件从Kafka直接导入数据到HDFS的connector，但对阿里云对文件存储系统OSS却没有官方的支持。本文会举一个简单的例子，实现kafka的数据写入阿里云OSS。因为阿里云E-MapReduce服...

从98年成立至今的18年中，网鱼累计签约门店已接近900家，已拥有超过830万会员，2016年网鱼网咖共服务了3300多万人次，服务范围覆盖全国100多个城市，现在网鱼网咖已走出国门，在加拿大、澳大利亚、新加坡等国家开设多家门店。

最新的`aliyun-emapreduce-sdk`将`MaxCompute`数据以`DataSource`的方式接入Spark 2.x，用户可以使用类似Spark 2.x中读写`json/parquet/csv`的方式来访问MaxCompute.