开发者学堂课程【DataWorks 一站式大数据开发治理平台精品课程：3.基于 MaxCompute 的大数据BI分析最佳实践】与课程紧密联系，让用户快速学习知识
课程地址：https://developer.aliyun.com/learning/course/81/detail/1251
3.基于 MaxCompute 的大数据BI分析最佳实践（一）
内容介绍：
一、场景描述
二、实现架构-MaxCompute/ETL/ADB
三、MaxCompute 产品介绍
四、ADB容量评估
五、WebTracking 日志采集原理
六、演示
一、场景描述
在互联网、电商及游戏等行业通常需要对海量数据做快速实时分析,本方案阐述如何将业务数据和日志数据快速汇总到ADB后再通过
QuickBI 等工具进行可视化分析和展示。特别是对于数据化建设中后期的公司,数据结构复杂、数据量巨大、ETL功能复杂的情况,使用 MaxCompute 可以进行复杂ETL数据开发和加工,再进入ADB和 QuickBI 进行快速分析和可视化展示。
1、适用场景
（1）互联网行业、电商、游戏行业等网站、Adb、小程序应用内BI分析场景。
（2）可扩展到各类网站BI分析场景使用。
2、行业标签
通用、互联网、电商、游戏等。
3、产品标签
BI数据分析、日志服务、ADB、MaxCpompute、ECS、RDS等。以电商网站的demo 介绍在互联网电商及游戏行业，对海量数据进行快速分析场景，把网站的业务数据或者日志投递到 maxcompute 里面，进行业务数据的分析，进行ETF之后，把整个数据会汇总到Adb，再通过的QuickBI做商业报表的展示。这个场景非常适合大数据的分析，比如在公司的数据化建设过程中，有大量的数据，比如有几次PP的数据，它的整个数据结构可能非常复杂，数据量也非常大。可能要etl的功能都是比较复杂的计算，这样场景就非常推荐使用这个方案，maxcompute 对于复杂etl数据的开发，再通过 QuickB I和 ADB 进行
商业di的分析。会有demo的展示。先看一下实现的效果，把模拟电商网站的访问的行为做看盘，比如用户访问的地域的分布，年龄层次的分布，看用户哪一类的用户关注的商品，具体关注哪一类商品的热度，做简单的demo的分析。
二、实现架构-MaxCompute/ETL/ADB
架构说明
1、公司在数据化建设中后期,数据结构非常复杂,数据量非常大,大量
数据需要先进行ETL。
2、使用数据集成把RDS和日志数据同步到 MaxCompute 进行ETL,再
写入ADB。
3、使用 QucikBI 进行分析,分析业务数据，建立用户画像等。的业务数据存在关系型数据库，rds里面，日志数据投递到日志服务，会用日志服务里面的 webTracking 功能在web页面做买点，获取用户的行为数据。比如用户点击了某个商品，查看某个商品进行评论，关注等，用户的行为会把它记录下来，投递到日志服务里面，会把日志的数据还有业务的数据都通过数据集成，把它汇总到 maxcompute 里面。在 maxcompute 对数据进行etl进行数据的处理，最后汇总到Adb里面，把Adb和QuickBI 进行对接，最后分析业务的数据，建立用户的方向进行分析，核心就是要完成这样一个场景。
三、MaxCompute 产品介绍
MaxCompute 向用户提供了丰富的大数据开发工具、完善的数据导入导出方案以及多种经典的分布式计算模型。能够最快速地解决用户海量数据计算问题,有效降低企业大数据计算平台的总体拥有成本,提高大数据应用开发效率，并保障数据在云计算环境的安全。
maxcompute 是全托管的服务，免去了运维的成本。它能够对接阿里云开源的生态，都能够无缝的对接，比如rds这种关系的数据库，能够对接图计算spark，也能够对接云上的产品，开源的产品等等。产品特点
（1）云原生服务架构:
1全托管的 Serverless、多租户模式,作业级别的自动弹性伸缩,免平台运维及配置调优势。
2支持按作业付费、预占计算资源付费、打包套餐等多种付费方案,满足最灵活的客户购买需求。
（2）多功能:
提供SQL/MR/Spark/机器学习/图计算等多种计算能力,避免为计算而搬数据。
（3）高性能计算引擎:
随若数据规模的增加,性能线性增长,超越竞品的性能优势。
（4）安全的数据平台:
原生的多租户系统，以项目进行隔离;所有计算任务在安全沙箱中运行,支持ACL+Policy+Label细粒度授权,支持数据KM加密,支持行为审计(即将发布)。
（5）生态开放:
高度兼容Hive、支持原生的 Spark 应用、支持 Python生态(PyODPS)、第三方BI工具。
（4）企业级管理能力:
完整的批量(Tunnel)/实时(Datahub)数据接入能力、Dataworks 数据开发/应用生产运维/数据管理数据质量，快速构建企业级数据服务平台。
