请问提交flink任务到yarn运行报这个错是什么原因导致的?
根据您提供的信息,使用 Flink 提交任务到 Yarn 中运行时报错,这种情况可能是由多种原因导致的。以下是可能的原因和对应的解决方法:
如果 Yarn 中可用的资源不足,就会导致启动 Flink 任务失败。您可以检查 Yarn 中可用的资源是否足够,并适当调整 Flink 任务的资源请求。可以使用以下命令检查 Yarn 中的可用资源:
yarn top
如果 Yarn 中的队列配额不足,也可能导致 Flink 任务无法启动。您需要联系管理员进行调整。可以使用以下命令检查 Yarn 中的可用队列配额:
yarn queue -status *
如果在 Flink 任务配置中没有正确地指定资源信息,也会导致任务启动失败。在提交 Flink 任务时,需要指定所需的 container 资源以及其他参数。例如:
flink run -yn 4 -ys 4 -c your.main.class your.jar arg1 arg2 arg3
其中,-yn 和 -ys 参数分别指定 Yarn 的 container 数量和 slot 数量,这些参数需要根据 Yarn 中可用资源进行设置。如果参数设置不正确,也会导致 Flink 任务启动失败。您可以重新检查和修改 Flink 任务配置,并重新提交任务。
如果在 Yarn Configuration 中没有正确地指定节点资源信息,也会导致 Flink 任务启动失败。。
Flink 任务启动失败还可能是由于其他原因引起的,例如网络问题、文件权限、版本不兼容等问题。在排查时,可以查看 Flink 和 Yarn 的相关日志,以便更好地定位问题。
推荐的排查步骤如下:
看提示不是说 你没有足够的副本不能保存 1. hdfs设置问题 你写入的文件没有满足 2. 丢失副本了,此回答整理自钉群“【③群】Apache Flink China社区”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。