开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中你们有遇到很不合理的实时需求吗,要时间跨度很大的做实时,如果将数据作为维度的话?

问题1:Flink CDC中你们有遇到很不合理的实时需求吗,要时间跨度很大的做实时,如果将数据作为维度的话维度数据比较大,比如,下单 退款问题,用户可能一年后才退单,想问一下你们有什么好的解决办法吗? 问题2:你的意思是说往下两个实时表做关联,即席查询吗,往下join的话不是做不到实时了吗,是在flink join的吗,我是担心维度太大了,查维度会比较慢,比如维度放在hbase,hbase的瓶颈大概是多少

展开
收起
真的很搞笑 2023-06-18 14:33:34 90 0
1 条回答
写回答
取消 提交回答
  • 回答1:你这个拿退款关联下单upsert 往下写不行么,是每张表单独先实时获取过来,在即席查询关联吗 回答2:你想谁和谁关联、我的意思是维度join,没理解你意思,为啥做不到实时?你们并发和每日订单数据量多少,问题不大、我这边tidb当维表都能抗住、每天150w+订单。维表2000千万,问题不大、理论上并发抗住1w+。计算复杂度都有关系。维度看情况,要是商品属性,没多少。要是类似线上和线下订单关联,这个就大。看场景吧。,此回答整理自钉群“Flink CDC 社区”

    2023-06-18 15:13:50
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载