开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问提交flink任务到yarn运行报这个错是什么原因导致的?

lQLPJxiQGEb76CrNAZ7NBXewHUgPPfSfe6YEMZXBY8DLAA_1399_414.png 请问提交flink任务到yarn运行报这个错是什么原因导致的?

展开
收起
冰激凌甜筒 2023-04-19 17:13:20 668 0
3 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    根据您提供的信息,使用 Flink 提交任务到 Yarn 中运行时报错,这种情况可能是由多种原因导致的。以下是可能的原因和对应的解决方法:

    1. 资源不足

    如果 Yarn 中可用的资源不足,就会导致启动 Flink 任务失败。您可以检查 Yarn 中可用的资源是否足够,并适当调整 Flink 任务的资源请求。可以使用以下命令检查 Yarn 中的可用资源:

    yarn top
    
    1. Yarn 队列配额不足

    如果 Yarn 中的队列配额不足,也可能导致 Flink 任务无法启动。您需要联系管理员进行调整。可以使用以下命令检查 Yarn 中的可用队列配额:

    yarn queue -status *
    
    1. Flink 任务配置错误

    如果在 Flink 任务配置中没有正确地指定资源信息,也会导致任务启动失败。在提交 Flink 任务时,需要指定所需的 container 资源以及其他参数。例如:

    flink run -yn 4 -ys 4 -c your.main.class your.jar arg1 arg2 arg3
    

    其中,-yn 和 -ys 参数分别指定 Yarn 的 container 数量和 slot 数量,这些参数需要根据 Yarn 中可用资源进行设置。如果参数设置不正确,也会导致 Flink 任务启动失败。您可以重新检查和修改 Flink 任务配置,并重新提交任务。

    1. Yarn Configuration 配置错误

    如果在 Yarn Configuration 中没有正确地指定节点资源信息,也会导致 Flink 任务启动失败。。

    1. 其他原因

    Flink 任务启动失败还可能是由于其他原因引起的,例如网络问题、文件权限、版本不兼容等问题。在排查时,可以查看 Flink 和 Yarn 的相关日志,以便更好地定位问题。

    推荐的排查步骤如下:

    1. 查看 Flink 和 Yarn 的相关日志;
    2. 检查 Yarn 中可用的资源数量和配额;
    3. 检查 Flink 任务配置信息,如 container 资源、参数设置等;
    4. 确认 Yarn Configuration 是否正确、文件权限是否正确。
    2023-04-30 22:40:34
    赞同 展开评论 打赏
  • 看提示不是说 你没有足够的副本不能保存 1. hdfs设置问题 你写入的文件没有满足 2. 丢失副本了,此回答整理自钉群“【③群】Apache Flink China社区”

    2023-04-19 22:41:41
    赞同 展开评论 打赏
  • 是个只会写bug的程序媛啊!!!

    错误原因:最后一个block没有足够的副本数,文件关闭失败

    2023-04-19 17:39:46
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载