打造互联网数据分享的第一平台。
—— 阿里云早期口号
本文内容取自2019杭州云栖大会《大数据技术专场》。
企业用户选择阿里云的理由有很多，假如在其中只选一个最重要的，那么我觉得十有八九就是看中了阿里云在“大数据”方面的能力。在国内互联网巨头中，阿里云的大数据应用的最早、最深、最广，这直接反映在今天阿里云的大数据产品服务上、反映在阿里云栖大会的场次安排上，除了这次要分享的大数据技术分会场，还有《大数据生态专场》、《大数据企业服务专场》、《智能数据中台专场》、《大数据与AI峰会》等专场后续再聊。
《大数据技术专场》的主旋律是阿里云自研的大数据核心技术平台的进展和展望。
（图片来自云栖社区）
- 阿里巴巴的大数据平台建设之路起步于2002年，到2006年已经拥有了当时亚洲最大的Oracle 集群，却依然无法很好的支撑业务发展。
- 所以在2008年阿里巴巴开始转向开源的大数据平台Hadoop。
- 到2009年阿里云成立并启动了自研的大数据平台ODPS（后改名为MaxCompute）的研发。到2010年MaxCompute1.0发布、2017年MaxCompute2.0发布、2019年MaxCompute3.0发布。
阿里云大数据的发展方向包括四个方面：
（上图来自云栖社区）
- 效率与成本、通过提升核心引擎的效率、存储的优化、利用云原生技术对接大数据管理与治理能力来帮助客户提升大数据处理效率，降低成本。
- 企业级服务、提供自动化的数据灾备能力，提高数据安全性，提供统一丰富的计算能力和配套的开发平台，提供企业级的数据管理、协同、共享机制。
- 生态与标准、阿里云的大数据平台将更加开放、更加拥抱标准和开源生态。
- 智能化、进一步提高核心引擎的智能化能力，让大数据平台具备自动驾驶的能力。
首先是效率方面，大数据处理的效率不够高就能带来风险。通过对阿里云的上百家客户的调研，阿里云总结出了一张风险曲线图：
（上图来自云栖社区）
以下是我的个人理解，不代表阿里云观点：
黄色曲线是大数据平台相关业务的发展，蓝色曲线是平台的风险。蓝色曲线有两条，上面一条是采用定制化方案的曲线，下面是采用阿里云大数据平台的曲线。
随着相关业务的发展，定制化的大数据平台一般启动后的一年左右会进入高风险阶段，彼时的系统成本、性能、数据安全、分析效率等方面的矛盾将聚集爆发，假如不对大数据平台进行及时的治理和优化极易导致项目夭折。而到两年左右又会出现一个新的风险，那就是随着人员的流动，定制化系统将变成无法维护的黑盒系统，没有人能够很好的继续运维和开发。
采用阿里云大数据平台风险曲线则相对平缓。例如业务增加5倍，而大数据平台的成本增加可能只有1倍，大数据平台不会因为业务的增长而变成成本中心，例如阿里巴巴的小贷业务就是一个平衡业务价值和计算成本的最好的案例。阿里云大数据平台有阿里云提供服务也不会发生因为人员流动而变得无法维护，定制化方案则因为引入了大量的开源组件而导致在人员流失后的接手人员难于维护。
什么是企业级的大数据平台，阿里云给出的答案包括四个部分：
- 可靠的数据底盘、就是为企业的数据资产提供万无一失的保障。将安全落实到存储、运算、管理、运维的每一层。
- 容灾、通过标准化硬件降低容灾中心的建设成本，通过自助运维降低了容灾系统的运维难度。
- 数据管理、共享和安全、通过基于数据血缘的的分析和报表加强对数据的管理、通过细粒度的强制访问控制、数据加密来保障敏感数据的机密性。
- 调度能力、具备超大规模的统一调度能力，包括系统性能基线保证能力、超卖能力、在线和离线业务的混步调度管理能力。
在生态方面，阿里云大数据平台MaxCompute开放联合计算能力，通过连接异构数据源实现计算下推的逻辑数据湖，支持EMR Hadoop全家桶、向上对接各种主流的工具和产品包括JDBC、Tableau等。
（上图来自云栖社区）
在智能数仓建设上，阿里云将在效率优化、资源规划、智能建模三个方面进行优化。
在大数据技术专场的最后介绍了阿里云刚发布的秒级实时数仓产品。
之前介绍过的ADB（分析型数据）都是实时数仓，但这个“实时”的定位却不同，这里的实时更多的是对接到消息队列、DataHub或者Flink等实时计算引擎，ADB对接的更多还是批量数据导入的场景。
在阿里云主页上，有关交互式分析的介绍是这样的：
交互式分析（Interactive Analytics）是一款兼容PostgreSQL协议的实时交互式分析产品。交互式分析与大数据生态无缝打通，支持对PB级数据进行高并发、低延时的分析处理，让您轻松而经济地使用现有BI工具对数据进行多维分析透视和业务探索。
交互式分析的突出优势有四点：
- PB级数据亚秒级响应，满足多维分析透视和业务探索的需求。
- 亿级TPS写入查询，写入即可查询。
- 存储和计算分离，支持更自由的扩缩容。
- 多副本技术保障数据绝对安全。
我觉得这里应该重点强调的就是支持亿级TPS的写入性能，并且写入的数据立刻可查。
以下是交互式分析的架构图：
（上图来自云栖社区）
可以看到交互式分析可以直接对接tableau、QuickBI、DataV、DataWorks等前端大数据分析产品。后端与MaxCompute大数据平台实现数据、资源互通。
交互式分析同时具备流处理系统的低延时能力和批处理的复杂精确查询能力，有了交互式分析就用不着费劲去搭建Lambda架构就能同时支持实时流数据分析和复杂精确查询的需求，一套系统就能实现流批一体的统一数仓。
我觉得交互式分析这个产品潜力巨大。
