开发者社区> 问答> 正文

flink-1.8.1 yarn per job模式使用

Hi 大家好:

在使用flink过程中,运行官网给的命令 https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn 报错如下:

➜ flink-1.8.1 ./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar

The program finished with the following exception:

java.lang.RuntimeException: Could not identify hostname and port in 'yarn-cluster'. at org.apache.flink.client.ClientUtils.parseHostPortAddress(ClientUtils.java:47) at org.apache.flink.client.cli.AbstractCustomCommandLine.applyCommandLineOptionsToConfiguration(AbstractCustomCommandLine.java:83) at org.apache.flink.client.cli.DefaultCLI.createClusterDescriptor(DefaultCLI.java:60) at org.apache.flink.client.cli.DefaultCLI.createClusterDescriptor(DefaultCLI.java:35) at org.apache.flink.client.cli.CliFrontend.runProgram(CliFrontend.java:224) at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213) at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1050) at org.apache.flink.client.cli.CliFrontend.lambda$main$11(CliFrontend.java:1126) at org.apache.flink.runtime.security.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30) at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1126)

疑问: 1.为什么会将 yarn-clustet解析为host? 2.要运行single flink job on yarn的正确姿势是啥?*来自志愿者整理的flink邮件归档

展开
收起
小阿怪 2021-12-07 22:39:15 874 0
1 条回答
写回答
取消 提交回答
  • 这个问题以前邮件列表有人提过...不过现在 user-zh 没有 archive 不好引用。

    你看下是不是 lib 下面没有 flink-shaded-hadoop-2-uber- -7.0.jar 这样一个文件。

    1.8.1 之后 FLINK 把 hadoop(YARN) 的 lib 分开 release 了,你要指定自己的 HADOOP_CLASSPATH 或者下载 FLINK 官网 pre-bundle 的 hadoop。

    具体可以看这个页面(https://flink.apache.org/downloads.html)第一段的内容。*来自志愿者整理的flink邮件归档

    2021-12-08 10:46:28
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
深度学习+大数据 TensorFlow on Yarn 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载