开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink yarn-per-job提交这个是什么问题吗,主机端口都是正常的,就报了拒绝连接?

flink yarn-per-job提交这个是什么问题吗,主机端口都是正常的,就报了拒绝连接?image.png
一提交到yarn就报这个错,然后失败,提交命令 flink run -t yarn-per-job -c app.dwm.UVFilterDetail /root/gmall_flink/flink_app/gmall-start-try-self-do-1.0-SNAPSHOT-jar-with-dependencies.jar,yarn-session提交是正常的,就per-job有问题?

展开
收起
真的很搞笑 2023-10-10 18:54:54 85 0
1 条回答
写回答
取消 提交回答
  • Apache Flink 在 YARN 上使用 per-job 模式提交作业时,出现“Connection to http://cnym:35796 refused”这样的错误通常意味着客户端尝试连接到 YARN ResourceManager 或 NodeManager (在这个例子中是 cnym 主机上的 35796 端口)失败,原因可能是以下几点:

    1. 网络问题:Flink 客户端无法通过网络连接到指定的 YARN ResourceManager 或 NodeManager。检查两台机器之间是否可以正常通信,包括防火墙设置、安全组规则以及网络连通性。

    2. YARN ResourceManager 不可达:确认 cnym 主机上 YARN ResourceManager 是否正在运行并且监听在 35796 端口。默认情况下,ResourceManager 的端口号不是 35796,而是 8088(对于HTTP接口),或者是 8032(对于RPC接口)。请核实实际配置。

    3. 配置错误:检查 Flink 配置中关于 YARN 端点的设置是否正确。如果您手动指定了非标准端口,确保这些端口在 YARN 集群配置中也相应地被更新了。

    4. YARN 服务异常:确保 YARN 集群本身处于健康状态且无任何节点故障或资源不足的情况。

    2024-01-27 12:35:48
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载