开发者社区> 问答> 正文

flink 1.11.1 与HDP3.0.1中的hive集成,查询不出hive表数据怎么办?

我使用的环境是HDP3.0.1的沙盒,flink是最新版本的1.11.1,从官网直接下载的编译好的jar包。我想测试flink与hive的集成,包括查询hive表的数据、写入数据到hive表等操作。目前我遇到问题就是通过flink sql client查询不出表数据,并且也不报错。但是该表在hive中查询是有记录的。其余的show tables,show database等语句都可以正常显示。

配置的hadoop环境变量如下: export HADOOP_CONF_DIR="/etc/hadoop/conf" export HADOOP_HOME="/usr/hdp/3.0.1.0-187/hadoop" export HADOOP_CLASSPATH="/usr/hdp/current/hadoop-client/:/usr/hdp/current/hadoop-client/lib/:/usr/hdp/current/hadoop-hdfs-client/:/usr/hdp/current/hadoop-hdfs-client/lib/:/usr/hdp/current/hadoop-yarn-client/:/usr/hdp/current/hadoop-yarn-client/lib/:/usr/hdp/current/hadoop-mapreduce-client/:/usr/hdp/current/hadoop-mapreduce-client/lib/"

sql-client配置文件如下: tables: [] functions: [] catalogs: - name: myhive type: hive hive-conf-dir: /opt/hive-conf execution: planner: blink type: batch result-mode: table max-table-result-rows: 1000000 parallelism: 3 max-parallelism: 128 min-idle-state-retention: 0 max-idle-state-retention: 0 current-catalog: myhive current-database: default restart-strategy: type: fallback deployment: response-timeout: 5000 gateway-address: "" gateway-port: 0

*来自志愿者整理的flink邮件归档

展开
收起
游客sadna6pkvqnz6 2021-12-07 17:09:22 925 0
1 条回答
写回答
取消 提交回答
  • 我已经找到问题的原因了,是因为HDP3.0.1中的Hive3.1.0默认开启了事务,而Flink 1.11.0写入和读取hive表应该是暂时不支持事务的。所以两者不兼容。我把Hive中事务相关的设置都关闭之后就正常了。*来自志愿者整理的flink

    2021-12-07 20:31:15
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载
集成智能接入网关APP:优化企业级移动办公网络 立即下载
云效助力企业集成安全到DevOps中 立即下载