Flink中通过api的方式来提交flink任务到yarn集群这种提交方式在官网哪里有人知道吗？

通过api的方式来提交flink任务到yarn集群这种提交方式在官网哪里有人知道吗？

展开

收起

圆葱猪肉包 2023-04-19 16:42:58 415 0

2 条回答

写回答

取消提交回答

wljslmz

公众号：网络技术联盟站，InfoQ签约作者，阿里云社区签约作者，华为云云享专家，BOSS直聘创作王者，腾讯课堂创作领航员，博客+论坛：https://www.wljslmz.cn，工程师导航：https://www.wljslmz.com
如果您想在阿里云实时计算 Flink版中，通过 API 的方式提交 Flink 任务到 YARN 集群，请按照以下步骤操作：
1. 确认您已经在阿里云实时计算 Flink版中创建了 YARN 集群和 Flink 集群，并且这两个集群已经正确地配置和启动。
2. 使用 Flink REST API 提交作业，可以通过以下命令：
```
curl -XPOST http://<flink-rest-server>:8081//jars/<jarid>?entry-class=<entryclass>&program-args=<args>&savepoint-path=<savepoint-path>&allowNonRestoredState=<allowNonRestoredState>
```
其中：
- <flink-rest-server> 是 Flink REST Server 的地址;
- <jarid> 是要提交的程序包的 ID;
- <entryclass> 是程序包的主类;
- <args> 是要传递给程序包的参数;
- <savepoint-path> 是可选的，表示要恢复作业的保存点路径；如果省略，则表示不进行保存点恢复；
- <allowNonRestoredState> 是可选的，表示是否允许非恢复状态的提交（即初始状态），默认为 false。
需要注意的是，您需要对命令中的参数进行相应的替换，其中 <flink-rest-server> 和 <jarid> 需要根据您自己的环境来指定。
1. 如果您需要在 Flink 应用中使用 YARN 的资源管理器，请确保您已正确配置 YARN 环境，并在应用程序中进行相关配置。具体方式请参考 Flink 官方文档。
2023-04-30 22:57:26

赞同展开评论打赏
叶秋学长

全栈JAVA领域创作者

Flink 提交到 YARN 集群的方式主要有两种，一种是通过命令行工具 flink-yarn.sh 进行提交，另一种是通过 Flink 的 Java API 进行提交。

关于通过 Java API 提交 Flink 任务到 YARN 集群的方式，你可以在 Flink 官方文档中找到详细的说明。具体而言，可以查看以下文档：

Submitting Applications on YARN：该文档介绍了如何使用 Flink 的 Java API 在 YARN 上提交应用程序，并提供了详细的示例代码。 YARN Client：该文档介绍了如何使用 Flink YARN client 类库来构建和配置 Flink 应用程序，并通过 Java API 将其提交到 YARN 集群中运行。在这些文档中，你可以了解到如何使用 YarnClusterDescriptor 和 YarnClientFactory 类来构建 Flink 应用程序，并如何设置应用程序的运行参数、资源需求等信息。此外，还会介绍如何将应用程序打包成可执行的 jar 包，并将其提交到 YARN 集群中运行。

2023-04-21 11:18:36

赞同展开评论打赏