开发者社区> 问答> 正文

flink1.12版本,yarn-application模式Flink web ui看不到日志

2021-06-04 17:38:15,417 INFO org.apache.flink.runtime.entrypoint.

ClusterEntrypoint [] - -Dlog

.file=/yarn/container-logs/application_1622784975053_0013/container_1622784975053_0013_01_000001/jobmanager.log

cluster 启动

2021-06-04 17:38:15,425 INFO org.apache.flink.runtime.entrypoint.

ClusterEntrypoint [] - YARN daemon is running as: hdfs Yarn client user

obtainer: hdfs

r pp <pr123shadow@gmail.com&gt; 于2021年6月4日周五 下午6:11写道:

&gt; 嗨~

&gt;&nbsp; 我这边是&nbsp; per-job on yarn 的mode

&gt;

&gt;&nbsp; 我查看的 yarn 的container 的日志信息,一般在程序初始化的时候,就会生产日志名,日志路径,变成环境env,

&gt;&nbsp; 然后 形成config ,再启动 cluster。

&gt;

&gt; 而日志路径 是yarn 的配置模式取好的,之后 flink 的获取这个信息,用于web 展示。

&gt;

&gt; 所以,你可能需要定位 你的日志文件路径 是否有改变,我做test,改变日志名,flink-web 还是可以正常显示

&gt; ,但是改变路径,flink-web 就无法显示了

&gt;

&gt; 但是具体的差异可能无法细化了,所提供的信息太少

&gt; env 环境信息

&gt; 2021-06-04 17:38:15,417 INFO org.apache.flink.runtime.entrypoint.

&gt; ClusterEntrypoint [] - -Dlog

&gt; .file=/yarn/container-logs/application_1622784975053_0013/container_1622784975053_0013_01_000001/jobmanager.log

&gt; cluster 启动信息

&gt; 2021-06-04 16:47:01,429 INFO org.apache.flink.runtime.entrypoint.

&gt; ClusterEntrypoint [] - YARN daemon is running as: hdfs Yarn client user

&gt; obtainer: hdfs

&gt;

&gt; zilong xiao <acidzz163@gmail.com&gt; 于2021年6月3日周四 下午2:17写道:

&gt;

&gt;&gt; 1.10默认用的log4j1,1.12用log4j2

&gt;&gt;

&gt;&gt; smq <374060171@qq.com&gt; 于2021年6月2日周三 下午3:26写道:

&gt;&gt;

&gt;&gt; &gt;

&gt;&gt; &gt;

&gt;&gt; 你的意思是在log4j.properties中的配置吗,我门在这个里边配置了生成日志文件的格式,是在安装节点里加的,不过这个应该不是在webui里显示的。奇怪的一点是我们组有别的程序是正常的,但是一部分在webUI不显示日志。我们目前是从1.10升级到1.12,这种情况在1.12出现的

&gt;&gt; &gt;

&gt;&gt; &gt;

&gt;&gt; &gt;

&gt;&gt; &gt;

&gt;&gt; &gt;

&gt;&gt; &gt; ------------------ 原始邮件 ------------------

&gt;&gt; &gt; 发件人: r pp <pr123shadow@gmail.com&amp;gt;

&gt;&gt; &gt; 发送时间: 2021年6月2日 15:08

&gt;&gt; &gt; 收件人: user-zh <user-zh@flink.apache.org&amp;gt;

&gt;&gt; &gt; 主题: 回复:flink1.12版本,yarn-application模式Flink web ui看不到日志

&gt;&gt; &gt;

&gt;&gt; &gt;

&gt;&gt; &gt;

&gt;&gt; &gt; 嗨~&amp;nbsp; 你们有没有改日志文件的名字

&gt;&gt; &gt;

&gt;&gt; &gt; smq <374060171@qq.com&amp;gt; 于2021年6月2日周三 下午12:24写道:

&gt;&gt; &gt;

&gt;&gt; &gt; &amp;gt; 你这个解决了吗,我也遇到了同样的问题

&gt;&gt; &gt; &amp;gt;

&gt;&gt; &gt; &amp;gt;

&gt;&gt; &gt; &amp;gt;

&gt;&gt; &gt; &amp;gt;

&gt;&gt; &gt; &amp;gt;

&gt;&gt; &gt; &amp;gt; ------------------ 原始邮件 ------------------

&gt;&gt; &gt; &amp;gt; 发件人: todd <todd5167@163.com&amp;amp;gt;

&gt;&gt; &gt; &amp;gt; 发送时间: 2021年4月14日 19:11

&gt;&gt; &gt; &amp;gt; 收件人: user-zh <user-zh@flink.apache.org&amp;amp;gt;

&gt;&gt; &gt; &amp;gt; 主题: 回复:flink1.12版本,yarn-application模式Flink web ui看不到日志

&gt;&gt; &gt; &amp;gt;

&gt;&gt; &gt; &amp;gt;

&gt;&gt; &gt; &amp;gt;

&gt;&gt; &gt; &amp;gt;&amp;nbsp; yarn上只有.out,.error的日志信息,但是从flink web ui的log框,无法显示日志内容。

&gt;&gt; &gt; &amp;gt;

&gt;&gt; &gt; &amp;gt;

&gt;&gt; &gt; &amp;gt;

&gt;&gt; &gt; &amp;gt; --

&gt;&gt; &gt; &amp;gt; Sent from: http://apache-flink.147419.n8.nabble.com/

&gt;&gt; &gt;

&gt;&gt; &gt;

&gt;&gt; &gt;

&gt;&gt; &gt; --

&gt;&gt; &gt; Best,

&gt;&gt; &gt; &amp;nbsp; pp

&gt;&gt;

&gt;

&gt;

&gt; --

&gt; Best,

&gt;&nbsp;&nbsp; pp

&gt;*来自志愿者整理的flink邮件归档

展开
收起
EXCEED 2021-12-02 15:03:52 2118 0
1 条回答
写回答
取消 提交回答
  • flink on yarn 模式的 Per-Job Cluster mode 在启动container ,产生jobmanager.log 前

    都不会运行 Jar包的东西,所以,两个Jar

    ,一个正常,一个不正常,只能说明,不正常的要么没有读取到日志配置文件,不产生日志,要么就是有魔法把它原本生产的日志挪走或者

    删除,(这是我的个人理解,如果,什么都一样,同样的提交命令、同样的提交环境,就是一个有log,一个没有log,差别就是Jar包不一样,真的无法分析了,没有集群,也干不了远程调试)

    但这些 都已经和flink 是否有代码缺陷 没有关系了。附上 yarn 启动container(JobManager)的 不全

    提交命令,日志路径部分是Yarn 提供的,图中可以看出,这里运行的是

    org.apache.flink.yarn.entrypoint.YarnJobclusterEntrypoint ,

    和Jar没有啥关系,这启动JobManager 前,Jar包 只是一个String、一个运行路径、一个待运行的classJar包。

    [image: image.png]*来自志愿者整理的FLINK邮件归档

    2021-12-02 16:18:04
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载
使用TensorFlow搭建智能开发系统自动生成App UI 立即下载