开发者学堂课程【新电商大数据平台2020最新课程：电商项目之项目架构讲解】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/640/detail/10494
电商项目之项目架构讲解
项目架构体系讲解
首先确定数据源，第一方数据源是 MySQL 业务数据，第二方是用户的行为数据，第三方是外部数据（广告投放数据）。
MySQL 业务数据通过 Sqoop 或 DataX 进行数据的处理，然后将数据导入 HDFS。
Flume 对用户的行为数据和外部数据（广告投放数据）进行采集，然后采集至 HDFS。
最后，所有的数据都会到 HDFS 中，需要映射到数仓 Hive，Hive 需分层为 ODS 层（原始数据层）（ODS内的数据和采集过来的数据一一对应，很少会发生大的变化）、DWD 层（明细层）（作用是ETL操作）、DWS 层（中间层）（作用是轻度聚合，进行粒度汇总，针对一个维度进行分析，主要针对 DWE 主题表创建出来后做轻度聚合）、ADS层（作用是统计报表，指标分析），最后将数据存入 MySQL 数据库，后期会使用 Spark 技术代替 HQL 语句，用SparkSQL 的 DEL 风格进行代码编写开发。
整体任务会通过 Azkaban 进行任务调度，如 Sqoop 或 DataX、Hive中的SQL、Spark 通过 Azkaban 进行任务调度。
流程图如图所示：
