Flink这个报错是 任务太多了吗? org.apache.flink.shaded.zookeeper3.org.apache.zookeeper.KeeperException$NumberQuotaExceedException: KeeperErrorCode = Nodes number exceeds quota limit for /flink2/application_1670910941835_27837/leader
这个报错是因为 Flink 使用的 ZooKeeper 集群节点数目超出了 ZooKeeper 的节点数量限制。每个 ZooKeeper 集群都有节点数量的限制,当超过限制时就会出现 KeeperException$NumberQuotaExceedException 异常。
该异常一般发生在 Flink 集群规模较大、任务数量较多的情况下。解决该异常的方法是:
1、增加 ZooKeeper 集群的节点数量限制。 在 Kafka、Hadoop 等大数据生态系统中,ZooKeeper 集群节点数量的限制通常会被修改为更大的值。如果您的 ZooKeeper 集群节点数量已达到限制,则需要修改节点数量限制,以容纳更多的 Flink 集群节点。
2、减少 Flink 集群节点数量。 如果您的 ZooKeeper 集群节点数量已经达到了上限,且无法修改限制时,则需要减少 Flink 集群节点数量。可以通过增加每个节点的内存、CPU 资源,以提高每个节点的处理能力,从而减少节点数量。
3、将 Flink 集群拆分成多个子集群。 如果无法增加 ZooKeeper 集群节点数量限制,且无法减少 Flink 集群节点数量时,可以将 Flink 集群拆分成多个子集群,并将它们连接到不同的 ZooKeeper 集群上。这样可以将节点数量分散到多个 ZooKeeper 集群上,从而解决该问题。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。