这个问题可能是因为YARN上的资源限制导致的。在per-job模式下，每个任务都会分配一个独立的JVM，因此需要更多的内存和CPU资源。如果你的YARN集群上的资源不足，可能会导致任务无法正常运行。
你可以尝试增加YARN集群上的资源，或者减少任务的数量。另外，你也可以尝试在YARN集群上配置更宽松的资源限制，例如增加每个任务的内存和CPU限制。
如果你无法确定问题的原因，可以尝试查看YARN集群的资源使用情况，看看是否有其他任务在使用大量的资源。如果其他任务也在使用大量的资源，那么可能需要重新分配资源，以便给你的任务留出足够的资源。
flink yarn-per-job提交报错
2023-10-11
88
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
flink yarn-per-job提交这个是什么问题吗，主机端口都是正常的，就报了拒绝连接？image.png一提交到yarn就报这个错，然后失败，提交命令 flink run -t yarn-per-job -c app.dwm.UVFilterDetail /root/gmall_flink/flink_app/gmall-start-try-self-do-1.0-SNAPSHOT-jar-with-dependencies.jar，yarn-session提交是正常的，就per-job有问题？
目录
相关文章
|
2月前
|
消息中间件
分布式计算
Java
|
27天前
|
资源调度
分布式计算
大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
79
0
0
|
3月前
|
SQL
Shell
API
实时计算 Flink版操作报错合集之任务提交后出现 "cannot run program "/bin/bash": error=1, 不允许操作" ，是什么原因
在使用实时计算Flink版过程中，可能会遇到各种错误，了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题，查看Flink的日志是关键，它们通常会提供更详细的错误信息和堆栈跟踪，有助于定位问题。此外，Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
170
1
1
|
3月前
|
资源调度
监控
关系型数据库
实时计算 Flink版操作报错合集之处理大量Join时报错空指针异常，是什么原因
在使用实时计算Flink版过程中，可能会遇到各种错误，了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题，查看Flink的日志是关键，它们通常会提供更详细的错误信息和堆栈跟踪，有助于定位问题。此外，Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
40
1
1
|
3月前
|
资源调度
运维
Devops
阿里云云效操作报错合集之yarn install时报错，是什么导致的
本合集将整理呈现用户在使用过程中遇到的报错及其对应的解决办法，包括但不限于账户权限设置错误、项目配置不正确、代码提交冲突、构建任务执行失败、测试环境异常、需求流转阻塞等问题。阿里云云效是一站式企业级研发协同和DevOps平台，为企业提供从需求规划、开发、测试、发布到运维、运营的全流程端到端服务和工具支撑，致力于提升企业的研发效能和创新能力。
59
2
2
|
3月前
|
SQL
Java
Apache
实时计算 Flink版操作报错合集之使用parquet时，怎么解决报错:无法访问到java.uti.Arrays$ArrayList类的私有字段
在使用实时计算Flink版过程中，可能会遇到各种错误，了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题，查看Flink的日志是关键，它们通常会提供更详细的错误信息和堆栈跟踪，有助于定位问题。此外，Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
42
1
1
|
3月前
|
Oracle
关系型数据库
Java
实时计算 Flink版操作报错合集之遇到了关于MySqIValidator类缺失的错误，是什么原因
在使用实时计算Flink版过程中，可能会遇到各种错误，了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题，查看Flink的日志是关键，它们通常会提供更详细的错误信息和堆栈跟踪，有助于定位问题。此外，Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
65
1
1
|
3月前
|
SQL
存储
资源调度
实时计算 Flink版操作报错合集之启动项目时报错缺少MySqlValidator类，是什么原因
在使用实时计算Flink版过程中，可能会遇到各种错误，了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题，查看Flink的日志是关键，它们通常会提供更详细的错误信息和堆栈跟踪，有助于定位问题。此外，Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
29
1
1
|
3月前
|
Java
关系型数据库
MySQL
实时计算 Flink版操作报错合集之在使用批处理模式中使用flat_aggregate函数时报错，该如何解决
在使用实时计算Flink版过程中，可能会遇到各种错误，了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题，查看Flink的日志是关键，它们通常会提供更详细的错误信息和堆栈跟踪，有助于定位问题。此外，Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
37
1
1
|
3月前
|
资源调度
Oracle
Java
实时计算 Flink版产品使用问题之在YARN集群上运行时，如何查看每个并行度的详细处理数据情况
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
82
0
0
热门文章
最新文章
1
Apache Flink 进阶（三）：Checkpoint 原理解析与应用实践
2
Flink: 实时规则引擎助力新零售发展
3
Flink SQL 实战：双流 join 场景应用
4
Apache Flink 漫谈系列(06) - 流表对偶(duality)性
5
Flink的DataSource三部曲之三:自定义
6
Flink 消息聚合处理方案
7
Flink - 新增 BroadcastStream 无 watermark 导致数据流异常
8
Flink的sink实战之四：自定义
9
Flink对迟到数据的处理
10
Flink SQL之时态表（Temporal Tables）
1
Apache Hadoop YARN基本架构
87
2
Flink报错问题之yarn报错如何解决
279
3
Flink--day02、Flink部署（Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署）
367
4
Spark学习--1、Spark入门（Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式）（一）
194
5
三巨头对决：深入了解pnpm、yarn与npm
827
6
Yarn install 报错 Resolving packages... [2/4] Fetching packages... info There appears to be trouble wi
345
7
yarn CLI 命令
177
8
yarn资源管理之cgroup
169
9
npm 和 Yarn：一场关于包管理的战争(下)
86
10
npm 和 Yarn：一场关于包管理的战争(上)
215