开发者社区> 问答> 正文

离线大数据架构是什么?

离线大数据架构是什么?

展开
收起
芯在这 2021-12-12 12:23:35 365 0
1 条回答
写回答
取消 提交回答
  • 数据源通过离线的方式导入到离线数仓中。

    下游应用根据业务需求选择直接读取DM或加一层数据服务,比如mysql 或 redis。

    数据仓库从模型层面分为三层:

    ODS,操作数据层,保存原始数据;

    DWD,数据仓库明细层,根据主题定义好事实与维度表,保存最细粒度的事实数据;

    DM,数据集市/轻度汇总层,在DWD层的基础之上根据不同的业务需求做轻度汇总;

    典型的数仓存储是HDFS/Hive,ETL可以是MapReduce脚本或HiveSQL。

    2021-12-12 12:23:55
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
MaxCompute架构升级及开放性解读 立即下载
MaxCompute Serverless 架构演进 立即下载
阿里云消息队列的 Serverless架构演进 立即下载