求问各位大佬：flink运行大量数据（自定义数据源）写入hudi和hive的作业运行一段时间后，？

求问各位大佬：flink运行大量数据（自定义数据源）写入hudi和hive的作业运行一段时间后，出现hive beeline客户端查询表报错:Unknown HS2 problem when communicating with Thrift server.
Error: org.apache.thrift.transport.TTransportException: java.net.SocketException: Broken pipe (Write failed) (state=08S01,code=0)，且beeline客户端也无法继续使用，只能重启hive HiveServer2和hive metastore的情况： WARN [main] jdbc.HiveConnection (HiveConnection.java:(237)) - Failed to connect to *:10000是什么原因呢？

展开

收起

真的很搞笑 2023-08-01 11:24:27 178 0

1 条回答

写回答

取消提交回答

清风拂袖

这个问题的原因是 Thrift 服务在运行一段时间后会关闭，从而导致 Hive 无法访问表数据。

解决方法是调整 Thrift 服务的超时时间，让 Thrift 服务在运行一段时间后仍然可以正常工作。

具体方法如下：

打开 Hive 的配置文件 hive-site.xml。
找到以下配置项：

hive.server2.thrift.client.socket.timeout
60s

修改 value 属性的值，将其设置为一个较大的值，例如 60s。
保存 hive-site.xml 文件。
重启 Hive 服务。
这样就可以解决问题了。

注意：如果调整 Thrift 服务的超时时间后，问题仍然无法解决，可以尝试重启 Hive 服务。

2023-09-26 11:24:09

赞同展开评论打赏