开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Checkpoint 慢之异步阶段做的慢如何解决?

Checkpoint 慢之异步阶段做的慢如何解决?

展开
收起
Lee_tianbai 2020-12-30 11:38:34 708 0
1 条回答
写回答
取消 提交回答
  • 对于异步阶段来说,tm 端主要将 state 备份到持久化存储上,对于非 RocksDBBackend 来说,主要瓶颈来自于网络,这个阶段可以考虑观察网络的 metric,或者 对应机器上能够观察到网络流量的情况(比如 iftop)。 对于 RocksDB 来说,则需要从本地读取文件,写入到远程的持久化存储上,所以不仅需要考虑网络的瓶颈,还需要考虑本地磁盘的性能。另外对于 RocksDBBackend 来说,如果觉得网络流量不是瓶颈,但是上传比较慢的话,还可以尝试考 虑开启多线程上传功能.

    2020-12-30 11:39:00
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

热门讨论

热门文章

相关电子书

更多
俞航翔|基于Log的通用增量Checkpoint 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载

相关实验场景

更多