Flink中yarn per job配置zookeeper高可用无效是什么原因啊？

Flink中yarn per job配置zookeeper高可用无效可能有几个原因：

1. Yarn自身高可用机制未启用：Flink的高可用性依赖于Yarn自身的高可用机制，特别是ResourceManager的高可用性。如果Yarn的ResourceManager没有配置为高可用，那么Flink的高可用性也会受到影响。
2. HDFS高可用性未配置：Flink作业在恢复时需要依赖Checkpoint进行恢复，而Checkpoint的快照依赖于远端的存储系统，如HDFS。因此，如果HDFS没有配置为高可用，那么即使Zookeeper是高可用的，Flink的高可用性也可能无效。
3. Zookeeper集群配置问题：Flink的高可用性还需要依赖于Zookeeper集群的高可用性。如果Zookeeper集群没有正确配置或者状态不稳定，也可能导致Flink的高可用性无效。
4. 配置文件未正确设置：确保Flink的配置文件中high-availability.type设置为zookeeper，并且high-availability.storageDir指向了正确的文件系统路径，用于存储JobManager的元数据。
5. 资源分配问题：如果在Yarn session模式下运行Flink，需要确保会话有足够的资源来支持高可用性。如果资源不足，任务可能会等待，直到其他资源释放。
6. 环境变量配置错误：确保HADOOP_CONF_DIR环境变量已经正确设置，指向了包含Hadoop和HDFS配置文件的目录。

综上所述，为了解决Flink中yarn per job配置zookeeper高可用无效的问题，需要检查上述各点，确保Yarn、HDFS和Zookeeper的高可用性都已经正确配置，并且Flink的配置文件也正确设置了相关的高可用性参数。同时，也要确保资源分配足够，以及环境变量正确设置。如果问题依然存在，可能需要查看Flink和Yarn的日志文件，以获取更详细的错误信息，进一步诊断问题所在。

在 Apache Flink 中，当尝试在 YARN per-job 模式下配置 ZooKeeper 高可用性(HA)并遇到作业提交超时时，可能的原因包括以下几个方面：

1. 配置不正确：

   • 确保在 flink-conf.yaml 文件中正确设置了 ZooKeeper 集群地址，如：

     high-availability: zookeeper
     high-availability.zookeeper.quorum: master:2181,slave1:2181,slave2:2181
     

   • 其他相关的 HA 配置项也应当被适当地设置，比如集群根路径等。

2. ZooKeeper 服务不可达：

   • 检查 ZooKeeper 集群是否健康且可以从 YARN 节点访问。
   • 确认提供的 ZooKeeper 服务器地址列表中的主机名/IP 和端口号是准确无误的。

3. 网络问题：

   • 如果 YARN 节点与 ZooKeeper 集群之间存在网络隔离或防火墙规则阻止通信，可能会导致连接超时。

4. 兼容性问题：

   • 在从 Flink 1.10.0 升级到 1.11.1 后，可能存在某些配置项不再适用或需要更新的情况。
   • 确认使用的 ZooKeeper 版本与新版本 Flink 兼容。

5. YARN 配置缺失：

   • 在 YARN 上运行 Flink 作业时，可能还需要在 YARN 的配置中指定额外的环境变量或系统属性，以便让 YARN 任务能够感知到 ZooKeeper 的配置信息。

解决此类问题的常规步骤是：

• 双重检查所有配置项。
• 使用网络工具测试从 YARN 节点到 ZooKeeper 的连通性。
• 若有必要，尝试回滚到已知工作状态的配置，并逐步引入更改进行调试。