开发者社区 问答 正文

任务报错:The connector is trying to read binlog starti

已解决

任务报错:The connector is trying to read binlog starting at GTIDs ..., but this is no longer available on the server. Reconfigure the connector to use a snapshot when needed.

展开
收起
阿里云服务支持 2022-12-13 09:57:53 615 分享 版权
2 条回答
写回答
取消 提交回答
  • 官方回答
    1. 作业正在读取的Binlog文件在MySQL服务器已经被清理掉,这种情况一般是MySQL服务器上保留的Binlog文件过期时间太短,可以将该值设置大一点,比如7天或者30天。

    2. 如果保留策略已经设置的比较长了, 还有种情况是Flink CDC 作业消费Binlog太慢,这种一般分配足够的资源即可。

    2022-12-13 10:11:07
    赞同 展开评论
  • 一名在读研究生程序猿,欢迎大家指教,我们共同进步!

    从错误上来看,是因为flink程序报错后需要进行检查点恢复,但是无法找到对应的检查点文件信息。

    因为同步香港站和大陆站,是两个类似的flink job,我当时就让两个job指向了同一个hadoop的checkpoint目录,这样就导致某个job在恢复的时候就找不到对应的checkpoint文件了。

    所以,最终的解决方法就是:修改flink的程序让每一个job的检查点目录设置成不一样的目录,即可解决此问题。

    2022-12-13 10:16:04
    赞同 展开评论