开发者社区> 问答> 正文

on yarn模式,我是否需要在每台机器上都安装flink软件目录,还是只需要在提交机器上有flin

环境: flink1.9.1, on yarn hadoop2.6 flink只安装在了一台提交的机器上,

lib目录下有文件: flink-dist_2.11-1.9.1.jar flink-json-1.9.0-sql-jar.jar flink-shaded-hadoop-2-uber-2.6.5-7.0.jar flink-sql-connector-kafka_2.11-1.9.0.jar flink-table_2.11-1.9.1.jar flink-table-blink_2.11-1.9.1.jar log4j-1.2.17.jar slf4j-log4j12-1.7.15.jar

////////////// flink-shaded-hadoop-2-uber-2.6.5-7.0.jar , flink-sql-connector-kafka_2.11-1.9.0.jar flink-json-1.9.0-sql-jar.jar 这3个包是安装后,拷贝进去的

问题1:on yarn模式,我是否需要在每台机器上都安装flink软件目录,还是只需要在提交机器上有flink软件目录就行了?

问题2: 我需要用到blink-planner 连接外部kafka(1.1版本,json格式) 来生成sql表,是否 需要在lib目录下添加 flink-sql-connector-kafka_2.11-1.9.0.jar flink-json-1.9.0-sql-jar.jar 还是 在pom文件中 指定依赖,打成fat包 org.apache.flink flink-connector-kafka_2.11 ${flink.version} org.apache.flink flink-json ${flink.version} 问题3: flink run on yarn , 会额外附加lib目录下的jar包到用户jar下,再提交到yarn上运行么*来自志愿者整理的flink邮件归档

展开
收起
彗星halation 2021-12-08 10:17:19 1516 0
1 条回答
写回答
取消 提交回答
  • 问题1: 只需要在提交作业的机器上有flink即可 问题2: 两种方式都可以 问题3: 是的。lib目录下的jar和用户的jar会一起提交到YARN*来自志愿者整理的flink邮件归档

    2021-12-08 11:08:00
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载