Flink CDC跑联表任务时候，程序的内存会慢慢增大，这个报错是因为什么呢？
Flink CDC跑联表任务时候，程序的内存会慢慢增大，达到4G左右的时候会突然降到300M,同时jobmanager日志里显示有报错ERROR org.apache.flink.runtime.rest.handler.taskmanager.TaskManagerStdoutFileHandler [] - Failed to transfer file from TaskExecutor 10.186.196.84:6122-16e4eb.
java.util.concurrent.CompletionException: org.apache.flink.util.FlinkException: The file STDOUT does not exist on the TaskExecutor.我使用的是rocksdb状态后端，taskmaner总内存8G,这个报错是因为什么呢？
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。这个报错是因为在Flink CDC任务执行过程中，TaskExecutor无法找到STDOUT文件。这可能是因为TaskExecutor的内存不足导致的。你可以尝试增加TaskExecutor的内存配置，以解决这个问题。
具体操作如下：
打开Flink配置文件
flink-conf.yaml，找到taskmanager.memory.process.size和taskmanager.memory.fraction这两个参数。将
taskmanager.memory.process.size设置为一个较大的值，例如8G或更高。这将为TaskExecutor分配更多的内存空间。将
taskmanager.memory.fraction设置为一个较小的值，例如0.4或更低。这将限制TaskExecutor可以使用的最大内存比例。保存并关闭配置文件。
重新启动Flink集群以使更改生效。
2023-12-12 17:24:54赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
相关课程
更多
相关文章
相关电子书
更多
