开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

众安保险的实时数仓如何架构?

已解决

众安保险的实时数仓如何架构?

展开
收起
游客lmkkns5ck6auu 2022-08-31 10:46:29 607 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    实时数仓分为四层: • 第一层是 ODS 层,数据经过 Flink 到 ODS 层后会关联一张原始表,这个表是和数据源一一对应的,然后会有一个视图表对原始数据进行简单的清洗加工;

    • 数据经过 Flink 下发到 DWD 层,DWD 层是基于主题域进行划分的,我们现在划分为用户数据域、营销数据域、信贷数据域和保险数据域等;另外还有一部分是 DIM 层,包含用户相关、产品相关和渠道相关等维表数据,DIM 层的数据会保存到 HBase 中;

    • 经过 DWD 层的数据清洗之后,数据下发到 DWS 层,DWS 层会对数据进行整合汇总,一般会有指标宽表和多维明细宽表;

    • 最后这些数据会进入 ADS 层,服务具体多样的数据应用。这一层包含多样的 OLAP 数据存储引擎,包括使用 ClickHouse 作为大盘实时报表的存储引擎,使用HBase 和阿里云的 TableStore 为用户标签和特征工程提供数据存储服务,以及使用ES服务实时监控场景。

    以上内容摘自《Apache Flink 案例集(2022版)》电子书,点击https://developer.aliyun.com/ebook/download/7718 可下载完整版

    2022-08-31 12:49:26
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
实时数仓Workshop(广州站)- 李佳林 立即下载
阿里云实时数仓Hologres技术揭秘2.0 立即下载
实时数仓Hologres技术实战一本通2.0版(下) 立即下载