电商项目之数仓开发规范|学习笔记

简介: 快速学习电商项目之数仓开发规范

开发者学堂课程【新电商大数据平台2020最新课程电商项目之数仓开发规范】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/640/detail/10491


电商项目之数仓开发规范


数仓开发规范介绍

当我们去公司做开发数仓搭建的时候,首先第一点明确,你的开会规范是什么。

没有按照规范去开发,那么你开发出来的程序需要重复的次数会很多。所以说每一个公司都会有自己的一套开发规范和开发文档,那么在这个本节的书上当中也有一套开发文档。

1、数据库命名

命名规则:数仓对应分层_ {业务线|业务项目}

命名示例: ods_ nshop/dwd_ nshop/dws_ nshop/dim. nshop/ ads_ nshop/

因为数据库规范是根据是跟整个的流程去走的,流程是我们在建立出仓的时候,会对应的去分层,按照我们的层次结构来去划分每一层的数据库的名称,那么这个名称就是我们所说的一个层级的名称。

我们在命名的时候,每一层级都会有相对应的。第二个是你的业务线,或者说我们的项目名称,因为每个在开发的一个项目的时候都有项目名称,或者说叫业务线。

业务线是在做商品时,需要自己跟着,然后后边一系列的存储。后边都一样,只不过说他的一个层级,名称前缀不一样,它的业务线或者说它的项目名都是统一的,这是第一个我们的数据库命名规范。

ods/sda 层-> sda/ods_ {业务线|业务项目} (原始数据)

dw 层-> dwd_ {业务线|业务项目} (主题) + dws_ {业务线|业务项目}(基于主题宽表汇总)

dim 层-> dim. 维度(维表库)

ads 层-> ads_ {业务线|业务项目} (应用统计指标等)

middle 层-> mid_ {业务线|业务项目} (中间库)

临时数据-> temp_ {业务线|业务项目} (临时库)

2、表命名

(3-1)数据库表命名规则

*原始数据层:

命名规则: ods_ {业务线|业务项目}, {数据来源类型}_ {业务}

ods_ {业务线|业务项目}_ {数据来源类型}_ {业务}_ {时间粒度}_ delta (delta 代表增量, 主要用于数据同步方向产生的原始数据表)

命名示例:

ods_ nshop. 01 useractlog xx 用户日志原始数据表

ods_ _nshop_ 02_ _user xx 用户表(全量)

ods_ nshop_ 02_ user_ delta xx 用户表(增量)

ods nshop 02 user hh delta xx 用户表(小时级增量dd天)

(1)主题/事实数据层:

命名规则: dwd. (业务线|业务项目}. (主题域)_ (子业务}

命名示例:

dwd. _nshop. user. logproview xx 用户产品浏览日志事实表

dnd_ nshop. user. comment xx 用户关注事实表

(2)主题/事实汇总层:

命名规则: dus_ (业务线|业务项目}_ (主题域)_ {汇总相关粒度}. {汇总时间周期}

命名示例:

dws_ nshop. user. order. nd xx 用户订单汇总N天统计表

dws_ nshop. user. cmtpro. nd xx 用户产品关注汇总N天统计表

(3)维表层:

命名规则: dim {业务线|业务项目 |pub 公共}. {维度}

命名示例:

dim_ _pub_. _date 时间维表

dim pub. area 地区维表

dim pub. category 商品分类

(4)集市层:

命名规则: ads_ (业务线|业务项目). ({统计业务). {报表 form|热i门排序topN)}

命名示例:

ads_ nshop, order. form 订单统计表

ads_ nshop orderpay form 订单支付统计

注释:如果业务名称较长可以简写如 ods_ 01 useractlog

数据来源代码(ods 层)

01 -》hdfs数据 ods_ nshop.ods. 01 action. _1og 行为日志表

02 -》mysq1数据ods_ nshop.ods. 02_ user 用户表

03 -》redis 数据

04 -> mongodb 数据

05 -》tidb 数据

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
消息中间件 数据采集 SQL
1、电商数仓(用户行为采集平台)数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume(一)
1、电商数仓(用户行为采集平台)数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume(一)
|
8月前
|
存储 消息中间件 Java
抖音集团电商流量实时数仓建设实践
本文基于抖音集团电商数据工程师姚遥在Flink Forward Asia 2024的分享,围绕电商流量数据处理展开。内容涵盖业务挑战、电商流量建模架构、流批一体实践、大流量任务调优及总结展望五个部分。通过数据建模与优化,实现效率、质量、成本和稳定性全面提升,数据质量达99%以上,任务性能提升70%。未来将聚焦自动化、低代码化与成本优化,探索更高效的流批一体化方案。
580 12
抖音集团电商流量实时数仓建设实践
|
数据采集 大数据
大数据实战项目之电商数仓(二)
大数据实战项目之电商数仓(二)
353 0
|
BI
数仓项目总结--持续更新中
数仓项目总结--持续更新中
225 2
|
数据采集 存储 数据库
2、电商数仓(业务数据采集平台)电商业务流程、电商常识、电商系统表结构、业务数据模拟、业务数据采集模块(一)
2、电商数仓(业务数据采集平台)电商业务流程、电商常识、电商系统表结构、业务数据模拟、业务数据采集模块(一)
|
SQL 关系型数据库 MySQL
详尽分享音乐数据中心数仓综合项目
详尽分享音乐数据中心数仓综合项目
259 0
|
消息中间件 分布式计算 Hadoop
大数据实战项目之电商数仓(一)
大数据实战项目之电商数仓(一)
978 0
|
存储 SQL 分布式计算
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
839 0
|
存储 SQL DataWorks
数仓建模理论与规范(三)| 学习笔记
快速学习数仓建模理论与规范。
数仓建模理论与规范(三)| 学习笔记

热门文章

最新文章