开发者社区> 问答> 正文

任务报错:The connector is trying to read binlog starti

已解决

任务报错:The connector is trying to read binlog starting at GTIDs ..., but this is no longer available on the server. Reconfigure the connector to use a snapshot when needed.

展开
收起
阿里云服务支持 2022-12-13 09:57:53 516 0
2 条回答
写回答
取消 提交回答
  • 官方回答
    1. 作业正在读取的Binlog文件在MySQL服务器已经被清理掉,这种情况一般是MySQL服务器上保留的Binlog文件过期时间太短,可以将该值设置大一点,比如7天或者30天。

    2. 如果保留策略已经设置的比较长了, 还有种情况是Flink CDC 作业消费Binlog太慢,这种一般分配足够的资源即可。

    2022-12-13 10:11:07
    赞同 展开评论 打赏
  • 一名在读研究生程序猿,欢迎大家指教,我们共同进步!

    从错误上来看,是因为flink程序报错后需要进行检查点恢复,但是无法找到对应的检查点文件信息。

    因为同步香港站和大陆站,是两个类似的flink job,我当时就让两个job指向了同一个hadoop的checkpoint目录,这样就导致某个job在恢复的时候就找不到对应的checkpoint文件了。

    所以,最终的解决方法就是:修改flink的程序让每一个job的检查点目录设置成不一样的目录,即可解决此问题。

    2022-12-13 10:16:04
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。
问答排行榜
最热
最新

相关电子书

更多
PolarDB-X 2.0 全局 Binlog 与备份恢复能 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载