开发者学堂课程【新电商大数据平台2020最新课程:电商项目之 DWD.DWS 层总结汇总】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/640/detail/10522
电商项目之DWD.DWS层总结汇总
电商项目之DWD.DWS层总结汇总
上节已经讲完了所有的 DWD、DWS 表,整体思路就是从分析开始,然后 sql 实践,再进行 sql 测试,依次实现。
其中存在一个用户投诉订单宽表没有讲解,留做练习。其余的表除 day7天此类周期没有实现外均已讲解。
从 ODS,到 DWD,再到 DWS 依次实现的整体过程比较顺利,在测试过程中没有遇到逻辑问题或者代码问题,只有一些小问题例如字段缺失或者标点错误。在测试时出现问题会出现提示,哪一行会有问题,或者附近会有问题,这种问题需要我们平时细心对待。
讲解表时用到了各种格式的文件例如 json 等,相对已经齐全。从 ODS 到 DWS 实现过程的课程已经过半,之后的ADS 层是数据应用层,真正的指标统计层。然后会根据之前所求的的 DWS 表或者 DWE 明细主题表等进行指标运算
后面内容中的指标需要一一介绍,但是现在先来将上面的过程制作的表进行总结:
在实现用户主题表时,下面有对应的一些用户主题明细表,包括一些公共的汇总表或者产品启动表、浏览表等等。
是根据不同业务产生的数据进行分析。商家用户交互记录宽表这类表可能需要多个表进行关联云,然后 join 才能得出,较复杂。
交易主题表比较敏感,会有许多数据,比如说金额,在做的时候一定要仔细,不要统计错。是比较重要的表
比较重要的表——交易订单明细流水表,用户交易宽表,商家日流水宽表等等与金额有关。
像外部数据和用户主题表在做的时候重点在交易主题表上,这些数据在进行统计时主要是做一些金额的统计,然后将指标输出数据。目前还没有开始做指标,只是形成一些 DWS 公共汇总层。接下来会做一些 ADS
做指标的时候都会从 ADS 开始,给后台服务器提供一个数据,它们将我们的数据进行展示,最后存储到数据库,mysql 数据库选择性比较大,也可能存到其他地方。
前面内容就是所有的 DWD 层或者 DWS 层的表实践包括 sql,本节进行简单的回顾总结。
