开发者社区> 问答> 正文

用 RocksDBStateBackend 时出现了这个错误

转自钉钉群21789141:
3
用 RocksDBStateBackend 时出现了这个错误

展开
收起
apache_flink 2019-02-14 15:23:34 3286 0
1 条回答
写回答
取消 提交回答
  • Apache Flink China是经过Apache Flink官方授权的中文社区。是旨在向国内宣传和普及Flink相关技术,输出技术博文、译作、资讯等内容,推动国内大数据技术发展的开源社区。

    邱从贤:用 RocksDBStateBackend 时出现了这个错误
    追问:incremental 模式 这个没有,用的是 RocksDBStateBackend 他就是增量哈

           ![4](https://yqfile.alicdn.com/e66112b6d4109a020a299af421eda60a431b7ce0.png)
    

    邱从贤:那需要看下哪个 task 超时了,然后看下日志找找看为啥超时了
    追问:这个是错误日志,问了问度娘说:因为Mapred多个task操作同一个文件,一个task完成后删掉文件导致。 查看了下 dfs.datanode.max.xcievers 为 4096,难道这个值还是小了嘛

         ![5](https://yqfile.alicdn.com/e6d4f6acc722b153e19e9e45c30991404339ed66.png)
    

    茶干:你这个错误实际上是expire 的checkpoint清理导致的task failover,root cause还是为啥你的checkpoint会超时,相关错误汇报可以参考 FLINK-10615和FLINK-10930

    2019-07-17 23:28:14
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载