Linux环境下 java程序提交spark任务到Yarn报错

简介: Linux环境下 java程序提交spark任务到Yarn报错

1.jpg

摘要

  1. 情况1:JSON解析异常
  2. 情况2:java.lang.InstantiationException spark.sql.driver
  3. 情况3 中kafka:java.lang.NoClassDefFoundError: org/apache/kafka/clients/producer/Callback
  4. 情况4 idea启动报错:Connection to node -1 could not be established. Broker may not be available
  5. 情况5中kafka: Caused by: java.nio.channels.UnresolvedAddressException master:8080

情况1:JSON解析异常

image.png

==出错原因==:spark命令提交参数json,到另一个jar发现{ {或者}}消失了,导致解析异常
==解决方案==:https://blog.csdn.net/u010814849/article/details/78752074 双括号间+空格

情况2:java.lang.InstantiationException spark.sql.driver

==出错原因==:spark操作mysql数据库缺少驱动

==解决方案==:
Properties对象设置props.put("driver", "com.mysql.jdbc.Driver");

情况3: 中kafka:java.lang.NoClassDefFoundError: org/apache/kafka/clients/producer/Callback

==出错原因==:运行期缺少jar包,问题出在maven程序打包没把依赖打进去

==解决方案==:添加打包插件指定打入依赖jar

<plugin>
    <artifactId>maven-assembly-plugin</artifactId>
    <configuration>
        <descriptorRefs>
            <descriptorRef>jar-with-dependencies</descriptorRef>
        </descriptorRefs>
    </configuration>
    <executions>
        <execution>
            <id>make-assembly</id>
            <phase>package</phase>
            <goals>
                <goal>single</goal>
            </goals>
        </execution>
    </executions>
</plugin>

情况4:idea启动报错:Connection to node -1 could not be established. Broker may not be available

==出错原因==:指定bootstrap-servers前面多了空格,导致层级目录出错

==解决方案==:
image.png

情况5:中kafka: Caused by: java.nio.channels.UnresolvedAddressException master:8080

==出错原因==:ip映射没修改对,导致不认识master

==解决方案==:如果是ambari安装的kafka修改cinfig下面的,如果是自己linux搭建的,需改动kafka下的cinfig下的server.properties,把PLAINTEXT://localhost:6667 -》 改为PLAINTEXT://192.168.20.91:6667

image.png

目录
相关文章
|
监控 数据可视化 Java
调试技巧 - 用Linux命令排查Java问题
总的来说,使用Linux命令来排查Java问题,需要一定的实践经验和理论知识。然而,只要我们愿意花时间深入了解这些工具,我们就能够熟练地使用它们来分析和解决问题。此外,这些工具只是帮助我们定位问题,真正解决问题需要我们对Java和JVM有深入的理解,并能够读懂和分析代码。
652 13
|
Java Linux 开发者
linux 查看java的安装路径
本指南详细介绍Java环境的安装验证与配置方法,包括检查Java版本、确认环境变量JAVA_HOME是否正确配置,以及通过which和readlink命令手动定位Java安装路径。同时提供系统级环境变量配置步骤,并给出多版本管理建议。适用于Linux系统用户,特别是需要在服务器或Docker容器中部署Java环境的开发者。注意操作时需具备相应权限,确保路径设置准确无误。
|
SQL 分布式计算 资源调度
Dataphin功能Tips系列(48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
520 4
|
分布式计算 监控 Java
|
安全 Linux 测试技术
配置Goby工具环境(win,linux,macOS)
配置Goby工具环境(win,linux,macOS)
1890 2
|
关系型数据库 MySQL Java
安装和配置JDK、Tomcat、MySQL环境,以及如何在Linux下更改后端端口。
遵循这些步骤,你可以顺利完成JDK、Tomcat、MySQL环境的安装和配置,并在Linux下更改后端端口。祝你顺利!
736 11
|
10月前
|
Linux 应用服务中间件 Shell
二、Linux文本处理与文件操作核心命令
熟悉了Linux的基本“行走”后,就该拿起真正的“工具”干活了。用grep这个“放大镜”在文件里搜索内容,用find这个“探测器”在系统中寻找文件,再用tar把东西打包带走。最关键的是要学会使用管道符|,它像一条流水线,能把这些命令串联起来,让简单工具组合出强大的功能,比如 ps -ef | grep 'nginx' 就能快速找出nginx进程。
1018 1
二、Linux文本处理与文件操作核心命令