电商项目之 DWD.DWS 层总结汇总|学习笔记

简介: 快速学习电商项目之 DWD.DWS 层总结汇总

开发者学堂课程【新电商大数据平台2020最新课程电商项目之 DWD.DWS 层总结汇总】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/640/detail/10522


电商项目之DWD.DWS层总结汇总

 

电商项目之DWD.DWS层总结汇总

上节已经讲完了所有的 DWD、DWS 表,整体思路就是从分析开始,然后 sql 实践,再进行 sql 测试,依次实现。

其中存在一个用户投诉订单宽表没有讲解,留做练习。其余的表除 day7天此类周期没有实现外均已讲解。

从 ODS,到 DWD,再到 DWS 依次实现的整体过程比较顺利,在测试过程中没有遇到逻辑问题或者代码问题,只有一些小问题例如字段缺失或者标点错误。在测试时出现问题会出现提示,哪一行会有问题,或者附近会有问题,这种问题需要我们平时细心对待。

讲解表时用到了各种格式的文件例如 json 等,相对已经齐全。从 ODS 到 DWS 实现过程的课程已经过半,之后的ADS 层是数据应用层,真正的指标统计层。然后会根据之前所求的的 DWS 表或者 DWE 明细主题表等进行指标运算

后面内容中的指标需要一一介绍,但是现在先来将上面的过程制作的表进行总结:

在实现用户主题表时,下面有对应的一些用户主题明细表,包括一些公共的汇总表或者产品启动表、浏览表等等。

是根据不同业务产生的数据进行分析。商家用户交互记录宽表这类表可能需要多个表进行关联云,然后 join 才能得出,较复杂。

image.png

交易主题表比较敏感,会有许多数据,比如说金额,在做的时候一定要仔细,不要统计错。是比较重要的表

比较重要的表——交易订单明细流水表,用户交易宽表,商家日流水宽表等等与金额有关。

像外部数据和用户主题表在做的时候重点在交易主题表上,这些数据在进行统计时主要是做一些金额的统计,然后将指标输出数据。目前还没有开始做指标,只是形成一些 DWS 公共汇总层。接下来会做一些 ADS

做指标的时候都会从 ADS 开始,给后台服务器提供一个数据,它们将我们的数据进行展示,最后存储到数据库,mysql 数据库选择性比较大,也可能存到其他地方。

前面内容就是所有的 DWD 层或者 DWS 层的表实践包括 sql,本节进行简单的回顾总结。

相关文章
|
6月前
|
搜索推荐 安全 API
聚合电商API:一键连接多平台数据
聚合电商API接口平台整合淘宝、天猫、京东等多平台API,提供一站式数据服务。核心功能包括数据整合、多平台搜索、详细解析与定制化服务,助力商家高效管理订单、优化商品推荐及支持数据驱动决策。平台注重智能化、个性化与全渠道发展,保障数据安全,推动业务增长。
590 2
|
11月前
|
存储 人工智能 自然语言处理
Pandas数据应用:自然语言处理
本文介绍Pandas在自然语言处理(NLP)中的应用,涵盖数据准备、文本预处理、分词、去除停用词等常见任务,并通过代码示例详细解释。同时,针对常见的报错如`MemoryError`、`ValueError`和`KeyError`提供了解决方案。适合初学者逐步掌握Pandas与NLP结合的技巧。
462 20
|
存储 算法 Cloud Native
Ganos地理网格引擎支撑无人机路径规划能力实践
随着新能源技术的迅猛发展,低空经济已经逐步成为新的战略性新兴产业,但不同于传统的地表活动,低空活动具有立体性、区域性、融合性等特点,这些特点对于如何安全引导低空活动的顺利开展带来了一系列需要解决的技术问题。Ganos地理网格引擎提供了基于网格的路径规划能力,可以使用DEM、DSM、倾斜摄影等数据构建复杂环境下的无人机路径规划应用。
|
运维 供应链 安全
SD-WAN分布式组网:构建高效、灵活的企业网络架构
本文介绍了SD-WAN(软件定义广域网)在企业分布式组网中的应用,强调其智能化流量管理、简化的网络部署、弹性扩展能力和增强的安全性等核心优势,以及在跨国企业、多云环境、零售连锁和制造业中的典型应用场景。通过合理设计网络架构、选择合适的网络连接类型、优化应用流量优先级和定期评估网络性能等最佳实践,SD-WAN助力企业实现高效、稳定的业务连接,加速数字化转型。
SD-WAN分布式组网:构建高效、灵活的企业网络架构
ly~
|
存储 安全 大数据
数据库的发展趋势是什么?
数据库发展趋势涵盖云化、智能化、分布式及多模型融合等多个方面。云数据库和DBaaS模式使企业能快速调整资源,降低成本;AI和机器学习技术推动智能运维、查询优化等功能;分布式架构和并行计算则提升了数据处理能力和速度。此外,多模型数据库满足了多样化的数据处理需求,而数据安全技术和隐私保护也在不断加强。数据库与大数据、AI、区块链等新兴技术的融合将进一步提升其功能与安全性。
ly~
964 1
|
监控 Java 应用服务中间件
Spring Boot应用的部署与扩展
Spring Boot应用的部署与扩展
|
SQL 关系型数据库 MySQL
mysql密码错误-ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using passwor:yes)
这篇文章提供了解决MySQL数据库"Access denied for user 'root'@'localhost' (using password: YES)"错误的方法,通过跳过密码验证、修改root密码,然后重启服务来解决登录问题。
mysql密码错误-ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using passwor:yes)
|
Cloud Native 关系型数据库 MySQL
PHP的演变之路:从初生之犊到成熟框架
【8月更文挑战第20天】本文将带你穿梭时空,探索PHP这一互联网基石语言的发展历程。我们将从PHP的起源谈起,见证它如何应对时代的挑战,逐步成长为支持现代Web开发的强力工具。文章不仅追溯PHP的历史轨迹,还将深入探讨其对开发者社区的影响以及在现代技术环境中的定位和未来趋势。
234 13
|
SQL 存储 安全
Hive 内部表(管理表)和外部表的区别【重点】
Hive 内部表(管理表)和外部表的区别【重点】
1371 1
|
JavaScript Java Android开发
android studio中文乱码各种情况的解决办法
android studio中文乱码各种情况的解决办法
757 0
android studio中文乱码各种情况的解决办法