使用Flink1.11.2客户端 往hadoop集群提交job,报错如下:
LogType:jobmanager.err Log Upload Time:Sat Jan 23 00:06:47 -0800 2021 LogLength:160 Log Contents: Unrecognized VM option 'MaxMetaspaceSize=268435456' Error: Could not create the Java Virtual Machine. Error: A fatal exception has occurred. Program will exit.
请问是因为hadoop集群jdk版本低的问题吗?
现在已知的是hadoop集群jdk版本为1.7
之前一直以为在flink配置文件中配置的env.java.home就应该是hadoop集群的java home,通过测试,发现并不是,这个java home就是客户端(本地)所在机器的java home。这个java版本已经是1.8+,但提交job时,仍然报错,如上。
是因为hadoop集群的jdk低吗?如果升级了hadoop集群的jdk,那么在flink配置文件中的env.java.home 需要改成hadoop集群的java home吗?还是不用改变,依旧使用本地的java home路径?
这两个jdk对于启动一个flink job的作用是什么呀?( 配置的env.java.home和hadoop集群的java home) *来自志愿者整理的flink邮件归档
MaxMetaspaceSize 是在JDK8中新增的,用以取代以前的PermGen,JDK7中自然不支持。可以在hadoop集群中再安装JDK8,将 env.java.home 指向新的JDK*来自志愿者整理的flink邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。