开发者社区> 问答> 正文

各位大佬,咨询个技术方面的思路问题,不知道下面的思路是否合适:1、背景: 昨天看美团搭建#Flink

各位大佬,咨询个技术方面的思路问题,不知道下面的思路是否合适: 1、背景: 昨天看美团搭建实时数库的架构设计PPT(https://developer.aliyun.com/article/741468?spm=a2c6h.15056366.J_4429179800.8.13d43d64IrWQR6) 中,各种汇总层(像dws层,ads层) 都写在kafka中; 2、问题点:目前的KafkaTableSink只支持append模式写kafka,暂不支持upset模式,无法实现写实时流的汇总数据到kafka(比如通过KafkaTableSink是无法实现以下sql写kafka的:INSERT INTO user_log_sink SELECT item_id, category_id, behavior, max(ts), min(proctime), max(proctime), count(user_id) FROM user_log group by item_id, category_id, behavior;) ; 3、解决方案1:自已实现一个upset模式的KafkaUpsertTableSink, 实现将flink汇总的数据写入kafka(注:继承自UpsertStreamTableSink,参考https://www.cnblogs.com/Springmoon-venn/p/12652845.html ) 以上是我的思路,但尚未实现过,群里有大佬在真实环境中实现过的吗?或者上面思路本身就有问题(将汇总数据写kafka)?#Flink

展开
收起
黄一刀 2020-07-09 15:04:29 783 0
1 条回答
写回答
取消 提交回答
  • sql 写 kafka都是这样用的,https://github.com/springMoon/sqlSubmit/tree/master/src/main/scala/com/rookie/submit/connector/kafka 这有实现的代码,可以参考下

    2020-07-09 15:05:30
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载