实时数仓分层 | 学习笔记

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 快速学习实时数仓分层

开发者学堂课程【阿里云实时数仓实战2:实时计算与结果输出实时数仓分层】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/109/detail/1881


实时数仓分层

 

1)实时数仓分层

9.png

主要分为三个层次,分别为 ods,dwd 以及 ads。首先 ods 层主要是原始数据层,存在于 datahub 中,对这个数据不做任何修改,只是存在里面,通过实时计算引擎把他读出来进行读,将所读出来的数据进行加工运算,比如清洗、筛选、计算、关联等一系列操作,再写回 datahub 中,那么这一步我们称之为 dwd 层。

我们对数据进行分析结果统计,统计后的结果我们称之为 ads 层,通常会被保存到 AnalyticDB mysql 中。 

2)实时数仓分层设计

9999.png主要是业务数据,十张表分别对应的是事实表数据以及维度表数据,DTS 进行同步事实表到 datahub 中,dts 维度表也同步到维表库(RDS)中,接下来要进行实时计算,实时计算主要是对原始数据也就是刚才同步过来的数据,这份数据不要做任何修改,先将数据读出进行计算,计算后再写回到 datahub,这就是对他清洗过后的数据。

原始数据的作用是,防止再 join 过程中出现异常或者崩溃,我们还可以从原始数据中再次读取,再次运算。

dwd 层主要是对数据进行 join 处理、清洗等一些操作。

将 dwd 层的数据和维表上的数据进行分析统计,得出最终的结果,所产生的数据称之为 ads 层数据,结果数据我们会将其写到 AnalyticDB 中。

所以在数仓中,原始层存在 datahub 中,清洗层也存在 datahub 中,最终的运算结果存在 AnalyticDB,用以可视化。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
相关文章
|
3月前
|
SQL 分布式计算 关系型数据库
实时数仓 Hologres产品使用合集之分区表创建冷热分层后,查询语法会与原先有区别吗
实时数仓Hologres的基本概念和特点:1.一站式实时数仓引擎:Hologres集成了数据仓库、在线分析处理(OLAP)和在线服务(Serving)能力于一体,适合实时数据分析和决策支持场景。2.兼容PostgreSQL协议:Hologres支持标准SQL(兼容PostgreSQL协议和语法),使得迁移和集成变得简单。3.海量数据处理能力:能够处理PB级数据的多维分析和即席查询,支持高并发低延迟查询。4.实时性:支持数据的实时写入、实时更新和实时分析,满足对数据新鲜度要求高的业务场景。5.与大数据生态集成:与MaxCompute、Flink、DataWorks等阿里云产品深度融合,提供离在线
|
29天前
|
SQL 消息中间件 OLAP
OneSQL OLAP实践问题之实时数仓中数据的分层如何解决
OneSQL OLAP实践问题之实时数仓中数据的分层如何解决
38 1
|
3月前
|
DataWorks 安全 数据库
DataWorks产品使用合集之简单模式下,如何实现数仓分层
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
70 3
|
4月前
|
存储 数据挖掘 大数据
大数据数仓建模基础理论【维度表、事实表、数仓分层及示例】
数据仓库建模是组织和设计数据以支持数据分析的过程,包括ER模型和维度建模。ER模型通过实体和关系描述数据结构,遵循三范式减少冗余。维度建模,特别是Kimball方法,用于数据仓库设计,便于分析和报告。事实表存储业务度量,如销售数据,分为累积、快照、事务和周期性快照类型。维度表提供描述性信息,如时间、产品、地点和客户详情。数仓通常分层为ODS(源数据)、DWD(明细数据)、DIM(公共维度)、DWS(数据汇总)和ADS(应用数据),以优化数据管理、质量、查询性能和适应性。
|
4月前
|
存储 数据可视化 前端开发
数仓常用分层与维度建模
本文介绍了数据仓库的分层结构和维度建模。数仓通常分为ODS、DIM、DWD、DWS和ADS五层,各层负责不同的数据处理阶段。维度建模是数据组织方法,包括星型和雪花模型。星型模型简单直观,查询性能高,适合简单查询;雪花模型则通过规范化减少冗余,提高数据一致性和结构复杂性,但可能影响查询效率。选择模型需根据业务需求和数据复杂性来定。
|
4月前
|
存储 分布式计算 数据挖掘
数仓分层架构
数仓分层架构
189 0
|
4月前
|
存储 数据采集 大数据
大数据必知必会系列——数仓分层架构及三层架构流程[新星计划]
大数据必知必会系列——数仓分层架构及三层架构流程[新星计划]
673 0
|
11月前
|
运维 大数据 数据管理
数据仓库(06)数仓分层设计
目前主流的数据仓库分层大多为四层,也有五层的架构,这里介绍基本的四层架构。 分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(dws)和数据集市层(dm)。
538 1
数据仓库(06)数仓分层设计
|
存储 canal 消息中间件
数据仓库系列(三)数仓分层的意义价值及如何设计数据分层
数据仓库系列(三)数仓分层的意义价值及如何设计数据分层
1433 0
数据仓库系列(三)数仓分层的意义价值及如何设计数据分层
|
SQL 运维 关系型数据库
分库分表至 Hologres 最佳实践 | 学习笔记
快速学习分库分表至 Hologres 最佳实践

热门文章

最新文章