开发者社区> 问答> 正文

快手实时数仓的DWD层主要进行哪些操作?

快手实时数仓的DWD层主要进行哪些操作?

展开
收起
萝卜丝丸子 2024-08-19 21:09:18 23 0
1 条回答
写回答
取消 提交回答
  • 快手实时数仓的DWD层主要进行三项操作:一是场景拆分,生成子topic防止重复消费;二是字段标准化,包括纬度字段标准化、脏数据过滤和IP、经纬度映射;三是处理逻辑的维度关联,通用维度关联尽量在DWD层完成,以减轻下游压力。

    2024-08-19 22:23:28
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
基于云原生数据仓库AnalyticDB PG的最佳实践 立即下载
新氧云原生全栈数仓最佳实践 立即下载
离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进 立即下载