开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC这里接收不到,已经跑了1.4亿数据了,之后有数据来也接受不到了?

Flink CDC这看着是有数据进来的,这里接收不到,已经跑了1.4亿数据了,之后有数据来也接受不到了?image.png

展开
收起
真的很搞笑 2023-11-30 15:29:53 121 0
3 条回答
写回答
取消 提交回答
  • 是不是数据报错了,去sink的结果里查啊,sink的Records Sent都是0吧,测试的话print打印出来到日志里看结果,不过sink的Records Received是0好像是有点问题的,此回答整理自钉群“Flink CDC 社区”

    2023-11-30 20:37:41
    赞同 展开评论 打赏
  • Flink CDC 不接收数据可能由多种原因导致。首先,可能是 Flink CDC 的配置错误,例如配置文件中的表名、列名、索引名等信息与实际情况不符。其次,未开启日志或 binlog 也可能导致 Flink CDC 无法获取到表的更新数据。此外,Flink CDC 通过时间戳启动模式来读取数据,如果指定的启动时间戳没有对应的数据,也会出现无法读取到数据的情况。还有可能是 Flink CDC 版本兼容性问题,例如 Flink CDC 2.3.0 版本的 Oracle Connector 使用基于 Oracle LogMiner 的实现方式,可能与 Flink 1.15.3 版本存在兼容性问题。因此,需要根据具体情况进行排查和解决。

    2023-11-30 17:55:45
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    如果在使用 Flink CDC 过程中,您发现已经处理了大量数据,但之后无法接收到新的数据,可能有以下几个原因:

    1. 消费组位置问题:Flink CDC 使用消费组(consumer group)来追踪已经消费的数据偏移量。如果消费组的位置被设置为较早的偏移量,新的数据将不会被读取。您可以尝试重置消费组的位置,使其从最新的偏移量开始消费。

    2. 数据源或目标状态问题:检查数据源和数据目标(如 MySQL)是否正常运行,并且没有出现故障或异常状态。如果数据源或目标发生错误或停止服务,CDC 无法接收到新的数据。

    3. 网络问题:确保 Flink CDC 和数据源之间的网络连接正常,并且没有阻止或丢失数据的网络问题(如防火墙规则、路由配置等)。检查网络延迟、带宽限制等因素是否影响了数据的传输。

    4. CDC 配置问题:检查 Flink CDC 的配置是否正确,包括数据源连接参数、数据格式解析等。确保配置与数据源的实际情况相匹配,并且没有配置错误导致无法读取新数据。

    5. 日志和错误信息:查看 Flink CDC 的日志输出,以获取更多关于为何无法接收新数据的详细错误信息。CDC 通常会提供有关连接错误、解析错误、数据格式不匹配等方面的异常信息,以帮助您定位和解决问题。

    2023-11-30 16:22:40
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载