开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

FlinkSql创建Kafka source 消费数据写到hive表作为ods层,若还要建立该咋办?

FlinkSql创建Kafka source 消费数据写到hive表作为ods层,如果还要建立dwd层数据是用flink 读hive表转换成ods,还是在创建一个Kafka source的表再消费一次做处理写到hive dwd表呢?

展开
收起
滴滴滴~ 2023-03-21 14:48:30 270 0
1 条回答
写回答
取消 提交回答
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    可以试试这两种方案:

    1. 使用 Flink 读取 Hive 表数据,进行转换:通过使用 Flink Table API 或者 Flink SQL,可以直接从 Hive 表读取数据,并对数据进行转换操作,然后将转换后的数据写入到 Hive DWD 表中。

    2. 创建一个 Kafka source 的表再消费一次:在 Flink SQL 中,可以创建一个新的 Kafka source 表,并消费 ODS 层 Kafka 的数据,然后对数据进行处理和转换,最后将转换后的数据写入到 Hive DWD 表中

    2023-03-21 18:19:12
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载