有没有同学遇到过,不同版本IDEA将同一个项目打成jar包后是不同的,今天同一个项目,用同事的IDEA打包到服务器上跑很顺畅,我自己打包就不行。
还是有提交job的时候,在主节点上会出现无法提交到yarn的情况,但是在从节点上就可以了。(资源都是有的)
job是一个Sparkstreaming的任务
图一是IDEA打jar包执行失败的报错,图二是该IDEA打包的方式
用同事的不同版本IDEA就没有上面的问题了。
应该是IDEA自带的JAR版本不一致造成。可以将所有库的引用指向自己的库目录试试。
可能是包version的问题,我踩过的坑有单独的HBase工程完全没问题,但是和其他业务合到一起就会出现,包冲突的问题,导致HBase原有包失效的,典型的冲突包括protobuf,尤其会在java工程中常见。
解决:现在hbase的shade版本做的不错,可以尝试用下解决包冲突的问题。另外还有一种idea的maven的build的shade方法,亲测过,并没有什么效果,建议使用shade包。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。