flink on yarn application mode 有人遇到过吗,flink只能提交一个任务,yarn的队列资源还是有的。
是的,阿里云Flink on YARN application mode 可以同时提交多个任务,如果您只能提交一个任务,可能是由于资源配额或其他配置问题导致的。
以下是一些可能导致只能提交一个任务的原因和解决方法:
YARN 资源配额不足:如果您的 YARN 集群资源配额不足,可能会导致只能提交一个任务。您可以检查 YARN 队列的资源配额,确保有足够的资源分配给 Flink 作业提交。
Flink 配置问题:如果您的 Flink 配置不正确,可能会导致只能提交一个任务。您可以检查 Flink 配置文件中的 taskmanager.numberOfTaskSlots
参数,确保设置为较高的值,以便同时执行多个任务。
Flink on YARN 配置问题:如果您的 Flink on YARN 配置不正确,可能会导致只能提交一个任务。您可以检查 Flink on YARN 的配置文件,确保 yarn.containers.vcores
和 yarn.containers.memory
参数设置正确,以便同时执行多个任务。
是的,有人遇到过这个问题。Flink on YARN application mode通常在YARN上启动Flink集群,并允许用户提交Flink作业。在您的情况下,您可能只能提交一个Flink作业,并且在其余时间内,YARN的队列资源是空闲的。
要解决这个问题,您可以尝试以下几种方法:
您可以使用Flink的Session模式,该模式可以从命令行启动Flink集群,并允许您在集群中提交多个作业,而不需要每次都重新启动Flink集群。
您还可以通过调整yarn-site.xml配置文件来增加YARN应用程序的最大内存和CPU资源。例如,您可以增加yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb参数以增加YARN队列中可用的内存资源。
您可以考虑使用YARN的Fair调度程序,它可以确保所有作业都能平等地共享YARN队列中的资源。
请注意,您需要仔细考虑这些选项的影响,并仅在了解其工作原理后进行更改。
accept状态,可能还在上传依赖包吧 这个阶段有时候会比较慢。 此答案整理自钉群“【③群】Apache Flink China社区”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。