在我看来，PyODPS就是阿里云上的Python。值得注意的是，这里的定语“阿里云上的”一定不能精简掉，因为PyODPS不等于单机版的Python！

阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析，为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展，同时预测了Spark 3.0即将重磅发布的新功能。

我是个幸运的人。虽然幸运不能被复制，但是眼光和努力可以。 “我是一个兴趣驱动型的人，职业生涯总的来说，还算挺幸运的，做自己感兴趣的事情，走上IT这一行……” 特别久以前，大概初中的时候有了自己的第一台电脑，大名鼎鼎的486，带一个数学协处理器，主频266MHz，内存有4MB。”

新一代数据仓库实际上是数据湖，对那些用于构建和训练机器学习模型的清洗，整合和验证的数据进行管理。例如，去年秋天在Amazon re：Invent 大会上，亚马逊网络服务公布了AWS Lake Formation。

什么是Table API 在《Apache Flink 漫谈系列(08) - SQL概览》中我们概要的向大家介绍了什么是好SQL，SQL和Table API是Apache Flink中的同一层次的API抽象，如下图所示： Apache Flink 针对不同的用户场景提供了三层用户API,最下层ProcessFunction API可以对State，Timer等复杂机制进行有效的控制，但用户使用的便捷性很弱，也就是说即使很简单统计逻辑，也要较多的代码开发。

刚刚结束的双十一，天猫交易额达到 2684 亿元，较去年同比增长 25.7%。这一结果背后，云计算、人工智能等技术以及阿里巴巴工程师们的努力功不可没。在正在召开的 AICon 全球人工智能与机器学习技术大会 现场，阿里云智能计算平台事业部研究员林伟介绍了阿里基于飞天 AI 平台的人工智能技术及能力，揭开双 11 大规模交易场景下，阿里人工智能技术的神秘面纱。

分布式系统中，Shuffle是重操作之一，直接影响到了SQL运行时的效率。Join、Aggregate等操作符都需要借助Shuffle操作符，确保相同数据分发到同一机器或Instance中，才可以进行Join、Aggregate操作。

Elasticsearch广泛应用于全文检索和实时日志分析场景。为了帮助开发者更好的理解和应用Elasticsearch和ELK相关技术，小编将甄选一系列技术干货分享给大家。本文作者在Elastisearch系统搭建和应用领域有深入的实践经验，现转载作者《深入理解Elasticsearch》读书笔记，梳理Elasticsearch使用过程中的一些技术难点。

转载自xingbao各位好，这是介绍阿里云伏羲(fuxi)调度器系列文章的第三篇，今天主要介绍针对在线服务的资源强稳定 一、FuxiMaster简介 FuxiMaster和Yarn非常相似，定位于分布式系统中资源管理与分配的角色：一个典型的资源分配流程图如下所示： 作为调度器，目前FuxiMas

本文主要介绍厦门美柚科技有限公司在基于MaxCompute多团队协同数据开发项目管理,权限管理,以及数据,资源共享的最佳实践

2019 年即将落下帷幕，这一年对于 Apache Flink 来说是非常精彩的一年，里程碑式的一年。随着这一年在邮件列表发送了超过 1 万封邮件，JIRA 中超过 4 千个 tickets，以及 GitHub 上超过 3 千个 PR，Apache Flink 迎来了快速的发展。

更丰富的组件、更多的模板、更有智能设计AI马良加持，更多功能邀请你体验！

转载自yizhuo 基因、测序、分析 基因，生命的基本因素，是人类和其他生物的基础遗传物质。人有 23 对染色体，总共记录了大约 3Gb 个碱基（这里的 b 是 base，即碱基，可不是 bit，参考这里），每个位置上的碱基可能是 ATCG 中的一个。简单理解起来，就是有了这 3Gb 长的字

Spark Operator浅析 本文介绍Spark Operator的设计和实现相关的内容. Spark运行时架构 经过近几年的高速发展,分布式计算框架的架构逐渐趋同. 资源管理模块作为其中最通用的模块逐渐与框架解耦,独立成通用的组件.

概述 ServiceModeJob（又名：OnlineJob）是fuxi提供的一套准实时计算框架，通过毫秒级的调度开销和网络Shuffle模式为小Job提供更高的性能。目前ODPS对内生产集群约1/3的Job通过ServiceModeJob进行处理，对其中小Job比较多的集群，这个占比会提高到70

New PForDelta算法介绍 倒排索引的数据包括docid, term frequency, term position等，往往会占用很大的磁盘空间，需要进行压缩。压缩算法需要考虑两点：压缩效果和解压缩效率。

给大家介绍一个使用场景，可以将E-MapReduce的Hadoop作业和文件存储（NAS）结合在一起，发挥分布式存储和分布式计算在一起的威力

网聚宝基于阿里云数加及基础云服务等产品，向客户提供全域大数据SaaS应用，向二次开发者、集成商及合作伙伴提供PaaS API以及DaaS API，从而为客户、合作伙伴、集成商、二次开发者进行全面的大数据赋能。

城市车辆逐年增长，道路通行关系市民生活，也考验城市管理者智慧。除了加大基础设施投入，杭州对大数据的分析和应用成为治堵新发力点。在路网规划、精确治堵、科学调配资源等方面，都能看到“城市大脑”和大数据发挥的“智慧”作用。

我们通过阿里云MaxCompute 和大数据开发套件，引用第三方的Base64 JAR，来实现字符串的编码、解码；

本文PPT来自班输于10月16日在2016年杭州云栖大会上发表的《基于阿里云数加平台的大数据Serverless实践》。

MaxCompute设计之初就是面向多租户，确保租户的数据安全是MaxCompute的必备功能之一。在MaxCompute系统的安全设计和实现上，MaxCompute的工程师们会遵循一些经过实践检验的安全设计原则（如Saltzer-Schroeder原则）。

基本介绍及应用场景 Tunnel是Odps提供的离线批量数据通道服务，主要提供大批量离线数据上传和下载，仅提供每次批量大于等于64MB数据的场景，小批量流式数据场景请使用DataHub实时数据通道以获得更好的性能和体验。

Storm 使用指南 集群创建 目前E-MapReduce已经支持了apache社区的1.0.1版本的storm。用户可以通过选择E-MapReduce 最新的镜像版本EMR-2.0.0（以及后续的以上版本），通过在控制台软件列表中勾选storm软件进行安装，选择完毕后即可登录到master节点

Flink入坑指南系列文章，从实际例子入手，一步步引导用户零基础入门实时计算/Flink，并成长为使用Flink的高阶用户。 简介 Group By + Agg这个最经典的SQL使用方式。Group By是SQL中最基础的分组操作，agg的全称是aggregation(聚合操作)，是一类SQL算子的统称，Flink中最常用的Agg操作有COUNT/SUM/AVG等，详情参见Flink支持的聚合操作列表。

大数据计算服务（MaxCompute，原名ODPS）是阿里云提供的一种快速、完全托管的EB级数据仓库解决方案。本文章中阿里云MaxCompute公有云技术支持人员刘力夺通过一个实验向大家介绍了阿里云关系型数据库产品RDS中的MySQL数据如何同步到MaxCompute，帮助用户大体了解MaxCompute产品以及其数据同步过程。

好多同学在使用MaxCompute时，对产品的应用限制并不了解。这里，我们将给出MaxCompute产品的详细应用限制列表。如有遗漏，还请大家补充： 命名规范：原则上，项目(Project)，表(Table)，函数(Function)，资源(Resource)，分区(Partition

资讯 国家公布人工智能四大平台 AI的春天到了？ 日前，科技部召开新一代人工智能发展规划暨重大科技项目启动会，并公布首批国家新一代人工智能开放创新平台名单，标志着新一代人工智能发展规划和重大科技项目进入全面启动实施阶段。

本文演示了在Spark Shell中通过spark-redis组件读写Redis数据的场景。所有场景在阿里云E-MapReduce集群内完成，Redis使用阿里云数据库Redis。

在此背景下，友信金服公司推行全域的数据体系战略，通过打通和整合集团各个业务线数据，利用大数据、人工智能等技术构建统一的数据资产，如 ID-Mapping、用户标签等。友信金服用户画像项目正是以此为背景成立，旨在实现“数据驱动业务与运营”的集团战略。

阿里云大计算服务MaxCompute是一款商业化的大数据分析平台，其计算资源有预付费和后付费两种计费方式。并且产品每天按照project为维度进行计量计费（账单基本情况下会第二天6点前产出）。本文使用的为云上客户真实数据，故在下文中的截图都mask掉了。

本次发布包括： 修改了界面的版本选择，新增了2.0.0版本，隐去了1.x版本（用SDK仍然可以继续创建，但我们强烈建议升级到最新版本），合并了Hadoop和HBase的版本选择。 Hadoop版本进行了升级，2.6.0 -> 2.7.2 集群JDK版本升级，1.7.0 -> 1.8.0 新增

在使用 PyODPS DataFrame 编写数据应用时，尽管编写的是同一个脚本文件，但其中的代码会在不同位置执行，这可能导致一些无法预期的问题，本文介绍当出现相关问题时，如何确定代码在何处执行，以及提供部分场景下解决问题的方法。

阿里影业实时报表开始做法也是按照传统型报表做法一样，直接从阿里云rds写sql查询，随着数据量越来越大，这种做法已经没有办法满足业务扩张，带来的问题响应时间变慢，吞吐量低，我们急需要一种技术方案能满足未来2-3年随着影院增加，数据增长，而报表功能还能很好的满足客户需求技术方案。

摘要：2017云栖大会阿里云大数据计算服务（MaxCompute）专场，阿里云高级专家戴谢宁带来MaxCompute的索引与优化实践分享。本文主要从MaxCompute数据模型开始谈起，接着分享了哈希分片和区域分片，着重分析了索引优化和join优化，并且列出了应用实例，最好作出了简要总结。

MaxCompute 是阿里EB级计算平台，经过十年磨砺，它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute 做了哪些工作，这些工作背后的原因是什么？大数据市场进入普惠+红海的新阶段，如何与生态发展共赢？人工智能进入井喷阶段，如何支持与借力？本文从过去一年的总结，核心技术概览，以及每条技术线路未来展望等几个方面做一个概述。

免费开通大数据服务：https://www.aliyun.com/product/odps 阿 里巴巴集团董事局主席马云，在2016年10月云栖大会上首次提到“五新”的趋势，分别是新零售、新金融、新制造、新技术和新能源。

“最早是新业务要做，但是买服务器来不及，管理员没到位，而且新业务的成本很高，是否能成功也是未知，因此明源决定采用阿里云，等资金和人到位再搬到自己内部。然而就是这种误打误撞，却让明源抓住了一个很好的机会走在了正确的轨道上。

Flink 社区在集成 Hive 功能方面付出很多，目前进展也比较顺利，最近 Flink 1.10.0 RC1 版本已经发布，感兴趣的读者可以进行调研和验证功能。

十年前，阿里云拉开国内云计算发展的序幕，而作为阿里云的创始人，王坚不仅仅为企业带来了一朵全球前三的云，还打造了一个全球顶级的EB级大数据计算平台MaxCompute。

本文是基于本人对MaxCompute产品的学习进度，再结合开发者社区里面的一些问题，进而整理成文。希望对大家有所帮助。 问题一、DataWorks V2.0简单模式和标准模式的区别？ 公司数仓的数据上云后，在使用MaxCompute计算引擎时，需要一个稳定、可靠的调度系统，将自身数据生产任务（代码）按照所需依赖关系、运行时间来调度运行，那么DataWorks就派上了用场。

DataWorks基于MaxCompute作为核心的计算、存储引擎，提供了海量数据的离线加工分析、数据挖掘的能力。通过DataWorks，可对数据进行数据传输、数据转换等相关操作，从不同的数据存储引入数据，对数据进行转化处理，最后将数据提取到其他数据系统。