开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Apache Flink China读hive报这个,该怎么解决?

Caused by: java.lang.NullPointerException at org.apache.hadoop.hive.ql.io.orc.RecordReaderImpl$StringDictionaryTreeReader.startStripe(RecordReaderImpl.java:1560) at org.apache.hadoop.hive.ql.io.orc.RecordReaderImpl$StringTreeReader.startStripe(RecordReaderImpl.java:1332) at org.apache.hadoop.hive.ql.io.orc.RecordReaderImpl$StructTreeReader.startStripe(RecordReaderImpl.java:1912) at org.apache.hadoop.hive.ql.io.orc.RecordReaderImpl.readStripe(RecordReaderImpl.java:2662) at org.apache.hadoop.hive.ql.io.orc.RecordReaderImpl.advanceStripe(RecordReaderImpl.java:3081) at org.apache.hadoop.hive.ql.io.orc.RecordReaderImpl.advanceToNextRow(RecordReaderImpl.java:3123) at org.apache.hadoop.hive.ql.io.orc.RecordReaderImpl.(RecordReaderImpl.java:289) at org.apache.hadoop.hive.ql.io.orc.ReaderImpl.rowsOptions(ReaderImpl.java:534) at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.createReaderFromFile(OrcInputFormat.java:225) at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat$OrcRecordReader.(OrcInputFormat.java:157) flink 读hive报这个,该怎么解决?

展开
收起
圆葱猪肉包 2023-04-19 16:42:59 330 0
2 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    您在使用阿里云实时计算 Flink版中读取 Hive 数据时,出现 NullPointerException 错误。根据错误信息,问题可能是由于在读取 ORC 格式的 Hive 表时,无法正确地解析某些数据导致的。

    具体来说,异常信息指出在 RecordReaderImpl 的方法中,执行 StringDictionaryTreeReader 或者 StringTreeReader 或者 StructTreeReader 时,发生了 NullPointerException 错误。由此推测,可能是某些数据的值为空或为 null,导致不能正确解析数据所引起的。

    为了解决这个问题,建议您检查数据源中的数据,特别是对可能为空或 null 的字段进行检查。如果是针对某个特定表或字段,请尝试在 SQL 或者代码中加入判空逻辑,避免空值引起的异常。

    2023-04-30 22:56:23
    赞同 展开评论 打赏
  • 只能大致给个方向,怀疑是hive的orc文件异常导致的报空指针异常

    2023-04-21 13:36:47
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Hive Bucketing in Apache Spark 立即下载
    spark替代HIVE实现ETL作业 立即下载
    2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载

    相关镜像