3月9日14点，业内首个结合技术与应用的在线大数据技术峰会即将展开，届时6位阿里技术大咖与4位行业资深实践者将从技术与业务两个方面，与大家探讨大数据如何最快落地到实践。较为有看点的是： 最深入的实践：本次在线峰会上，6个阿里规模的大数据实践将被深入分享，包括大数据平台的性能调优、流式增量计算、持续发布与演进、机器学习平台打造等。

交互搜索 交互搜索是一种新的产品形态，可以和用户对话，记住用户的购物需求和偏好，提供购物知识和建议。在搜索页面下拉就可以进入了，类似于微信的小程序的进入方式。 自然语言理解 对话和搜索的最大区别就是对话是多轮的，而搜索是单轮的。

正如在之前的那篇文章中 Spark Streaming 设计原理 中说到 Spark 团队之后对 Spark Streaming 的维护可能越来越少，Spark 2.4 版本的 Release Note 里面果然一个 Spark Streaming 相关的 ticket 都没有。

美甲帮APP目前有几百万的用户，然而不同用户喜好和动机不同，譬如是想提升美甲技艺，还是想通过美甲图片选款，或者是想在商城里购买美甲产品，如何挖掘用户需求并以此进行精准化营销或个性化推荐，提升客户体验同时又可以增加收入，这些都是美甲帮最关注的问题。

用Logstash实现Elasticsearch集群快速迁移，解读Logstash中metadata的功效，避免踩坑

YARN可以通过相关配置支持ResourceManager重启过程中，不影响正在运行的作业，即重启后，作业还能正常继续运行直到结束

本文接着yarn capacity scheduler的实现原理，介绍了capacity scheduler的设置和其中需要注意的问题，并结合EMR集群做了实际操作实验。

阿里云EMR-3.13.0版本的SparkSQL支持自适应执行功能，用来解决Reduce个数的动态调整/数据倾斜/执行计划的动态优化问题。

什么是DT时代？         在2015年中国（深圳）IT领袖峰会上，马云发表演讲：过去7年我们从互联网创业到互联网产业，很快进入互联网经济，而且正在从IT走向DT时代，也许昨天称为IT领袖峰会，未来要称DT领袖峰会，DT不仅仅是技术提升，而是思想观念的提升。

Connector 是连接外部数据和blink计算框架的桥梁，也是流计算的入口和出口。目前，blink支持了集团内部绝大多数的上下游（如下图)，详细的接入方法可以见官方文档，本文主要阐述connector设计和使用上需要注意的问题。

昨天有人偷偷告诉我说    阿里巴巴其实是一家科技公司！ 我想了整整一夜 究竟是谁走漏了风声 那么重点来了，阿里到底是如何在内部的办公、生活中，玩转“黑科技”的呢？ AI取名：给你专属的“武侠”花名 花名是阿里巴巴独特的文化，也是阿里员工独一无二的“身份”。

本文提供了一种对深度学习模型量化压缩以及加速推理的方法

摘要：在2017杭州云栖大会机器学习平台PAI专场上，阿里巴巴研究员、阿里云机器学习平台PAI负责人林伟为大家分享了人工智能的发展历史以及阿里云机器学习平台PAI的简单情况和特性。   本文内容根据嘉宾演讲视频以及PPT整理而成。

通过MaxCompute Studio工具界面，轻松完成tunnel命令能完成的本地数据导入导出工作。打破大数据开发套件中本地数据文件导入10M的限制，和打破下载只能下载查询结果最多10000行的限制。

本文结合EMR集群，讲述了如何利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源quota限制与管控。

“通过`show p -all;`命令查看所有执行过的job，再通过`wait instanceid;`查看这个job的logview，最后通过logview再查看具体的执行日志。” 这样的方式查看所有job并分析运行情况实在太麻烦，MaxCompute Studio已经可以轻松完成了。

貌似大部分人在遇到报错的时候，都懒得用翻译软件翻译报错信息，一般直接抛出来问，甚至连报错信息都懒得复制，直接截图出来。所以这里特地总结了一下，最近一段时间有人经常在群里问到的报错信息。 ODPS-0130252:Cartesian product is not allowed “不允许笛卡尔积”主要是为了防止用户误操作，不小心漏了关联条件，造成大量的资源的耗费。

本手册为云栖大会Workshop《云计算·大数据：海量日志数据分析与应用》的《数据采集：日志数据上传》篇而准备。主要为保障各位学员在workshop当天能够顺畅进行动手实操，那么本节为学员掌握阿里云数据采集的操作和使用。

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。

摘要：随着自媒体的发展，传统媒体面临着巨大的压力和挑战，新华智云运用大数据和人工智能技术，致力于为媒体行业赋能。通过媒体大数据开放平台，将媒体行业全网数据汇总起来，借助平台数据处理能力和算法能力，将有价值数据内容和能力开放给用户。

阿里云Elasticsearch集成了Elastic Stack商业版的X-Pack组件包，包括安全、告警、监控、报表生成、图分析、机器学习等组件，用户可以开箱即用。本文将对X-Pack 的Graph组件功能进行详细解读。

MaxCompute(原ODPS）的概念 海量数据处理平台，服务于批量结构化数据的存储和计算，提供海量数据仓库的解决方案以及针对大数据的分析建模服务.(官方文档有这里就不多做介绍了)官方文档链接 优势 用户不必关心分布式计算细节，从而达到分析大数据的目的。

众所周知，数据开发和分析的同学每天都要花大量时间写MaxCompute SQL；Dataworks作为数据开发的IDE直接影响着大家的开发效率，这次新上线的Dataworks我们在编辑体验上做了很多工作，在前端实现MaxCompute SQL和编辑器参数等扩展语法的AST解析，并实现更好更智能的代

大数据计算服务（MaxCompute，原名 ODPS，https://www.aliyun.com/product/odps）是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

很多用户经常被MaxCompute收费所困扰，比如执行了一条 select xxx from yyy 然后扣费1元 ，不知道如何查询到明细，也无法做优化。 接下来，我来教大家学习如何通过控制台消费功能查看你在MaxCompute（DataWorks/Studio）中的每一条SQL/MR计算、存储、下载的消费明细。

BasicEngine是阿里巴巴搜索事业部自研的推荐在线召回引擎，依托强大的搜索底层技术支持，可以在线实现复杂的关联排序运算，支持灵活的推荐策略组合，为推荐系统的升级发展拓展了无限想象空间。

AI·OS（Online Serving），大数据深度学习在线服务体系，由我们工程、算法、效率的同事们砥砺十年而成，支撑起海内外阿里电商全部的搜索和推荐业务，时刻置身大数据主战场，引导成交占据集团大盘主体；此外，作为中台技术中坚，AI·OS已是包括电商、阿里云、优酷、菜鸟、盒马、钉钉等等在内全集团的基础设施；更为重要的是，AI·OS体系的云产品矩阵服务于全球开发者，今年预期在数千万级的营收规模。

这篇文章主要是给外部用户介绍如何使用RODPS的 （一）概念介绍 RODPS能够提供一个桥接的方式，使得可以在R语言环境中无缝的使用MaxCompute(原ODPS)里面的数据、计算资源，类似于开源社区的RHive和Rhadoop的功能。 （二）安装R基础环境 2.1 Linux serve

如何从海量的历史、实时数据中快速获取有用信息，令搜索变得越来越具挑战性。OpenSearch是阿里云推出的一款云搜索服务，本文将介绍OpenSearch的发展历程、基本功能、以及实现原理和架构，以实际应用场景为例讲述应用实践过程。

摘要：大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

文章将从网络流控的概念与背景、TCP的流控机制、Flink TCP-based 反压机制（before V1.5）、Flink Credit-based 反压机制 （since V1.5）、总结与思考等几个方面进行分享。

ELK是日志分析领域较为流行的技术选择，不少阿里云用户选择在ECS上搭建开源Elasticsearch。与自建开源Elastisearch相比，阿里云Elasticsearch做了性能优化，支持弹性扩容，并搭载了商业版组件X-Pack，为用户提供即开即用的托管服务。

理解大数据开发套件和大数据计算服务的权限体系。

　 无人机、无人车……随着智能无人技术的兴起，背后的核心技术越加受到业界的关注。近日，全球最大地基增强系统运营商千寻位置成功研发出全球首个支持A-北斗的辅助定位平台FindNow, 大大缩短定位时间;结合使用阿里云大计算力量的千寻云踪-位置数据接入服务，为全国智能产业提供厘米级乃至毫米级高精度位置定位，快速＋精准定位，为汽车导航、精准农业、防灾减灾等行业正迎来新的机遇。

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总 1. 概述 异常检测（anomaly detection）指的是对不符合预期模式或数据集（英语：dataset）中其他项目的项目、事件或观测值的识别。

gig基于对latency的负反馈控制，实现了坏节点屏蔽、服务预热、异构集群负载均衡、自动降级等功能，大大提高了阿里搜索线上服务的稳定性。

在票选最美云上大数据暨大数据技术峰会上，来自江苏佰腾科技有限公司的许鹏通过介绍佰腾专利大数据平台的演化、上云前后的平台结构和任务处理流程，为大家分享了专利大数据的云上裂变之路，解释了非专业人士也能进行专利信息的检索与统计，即专利信息的大众化。

Hippo是搜索调度团队根据搜索、推荐、广告等业务特点从2013年开始打造并逐步完善的一套分布式调度系统，支持了集团内外多个事业部的搜索、推荐、广告等相关业务。2017双11期间，搜索在离线混部实现了全时段无干预无降级稳定运行，提供了搜索双11所有TF模型离线批次训练所需资源，并在2017/11/10晚上23点因为离线训练集群负载过高首次在混部上不间断运行了超过2万core的双11实时训练流程并一直在稳定运行。

摘要传统的数据分析经常使用的工具是Hadoop或Spark在使用之前环境是需要用户自己去搭建的。随着业务逐渐向云迁移如何在云上进行大数据分析是需要解决的问题。为此阿里云提供了一项很重要的服务——大数据计算服务MaxCompute。

MaxCompute客户端工具是阿里云大数据计算服务MaxCompue产品官方客户端工具，通过客户端工具可以连接MaxCompute项目，完成包括数据管理、数据上下传、作业执行、用户及授权管理等各项操作。

专利信息的『大数据』与其它领域的『大数据』多少有些不同，虽然全球专利信息的总量仅在1亿多条，但是每条专利信息要分析获取的数据维度目前就多达200多项，实际处理的数据量在百亿级别。

为了验证一些老证件上的身份证号码到底是不是本人，今天为大家提供一个15位身份证号码转换成18位的MaxCompute的UDF，下载地址见附件。 效果如下： MaxCompute UDF代码如下： /*** * 身份证号码构成：6位地址编码+8位生日+3位顺序码