Flink CDC需要把yarn-site.xml放在flink的conf目录下吗？

Flink CDC中hadoop的resource manager配置的ha，默认8030端口也是在的。需要把yarn-site.xml放在flink的conf目录下吗？

展开

收起

真的很搞笑 2023-11-22 08:17:09 66 0

3 条回答

写回答

取消提交回答

小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
不需要，Flink CDC 集成了 YARN 资源管理器，只需要在配置文件中指定 HA 的方式，就可以使用 YARN 集群的 HA 功能。具体的配置方式取决于您使用的 Flink CDC 版本，可以在官方文档中找到相应的说明。
一般来说，您可以按照下面的方式配置：
```
yarn.resourcemanager.ha.enabled=true
yarn.resourcemanager.ha.rm-ids=rm1,rm2
yarn.resourcemanager.hostname.rm1=<rm1_host>
yarn.resourcemanager.address.rm1=<rm1_host>:8030
yarn.resourcemanager.scheduler.address.rm1=<rm1_host>:8030
yarn.resourcemanager.resource-tracker.address.rm1=<rm1_host>:8031

yarn.resourcemanager.hostname.rm2=<rm2_host>
yarn.resourcemanager.address.rm2=<rm2_host>:8030
yarn.resourcemanager.scheduler.address.rm2=<rm2_host>:8030
yarn.resourcemanager.resource-tracker.address.rm2=<rm2_host>:8031
```
这里的 <rm1_host> 和 <rm2_host> 分别代表不同的 ResourceManager 实例的 IP 地址，而 8030 是 ResourceManager 的默认端口号。
2023-11-29 14:01:56

赞同展开评论打赏
芯在这

看看配置项，应该是哪里配错了，此回答整理自钉群“Flink CDC 社区”

2023-11-22 11:52:10

赞同展开评论打赏
vohelon

配置Hive元数据https://help.aliyun.com/zh/flink/user-guide/manage-hive-catalogs?spm=a2c4g.11186623.0.i7

在oss://${bucket}/artifacts/namespaces/${ns}/${hms}路径下，新建hive-conf-dir和hadoop-conf-dir目录。在OSS上新建目录的操作请参见创建目录

其中hive-conf-dir和hadoop-conf-dir目录中存放的文件详情如下：

oss://${bucket}/artifacts/namespaces/${ns}/${hms}/hive-conf-dir/用于存放Hive配置文件hive-site.xml。

oss://${bucket}/artifacts/namespaces/${ns}/${hms}/hadoop-conf-dir/用于存放Hadoop配置文件，包括core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml。

创建成功后，您可以在文件列表页面中，查看新建的目录及文件，并复制OSS链接信息。

2023-11-22 08:40:24

赞同展开评论打赏