Flink SQL 问题之查询时报错如何解决

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Flink SQL报错通常指在使用Apache Flink的SQL接口执行数据处理任务时遇到的问题;本合集将收集常见的Flink SQL报错情况及其解决方法,帮助用户迅速恢复数据处理流程。

问题一:使用 SQL Client,进行hive查询时报错: 命名有了flink-connector-hive_2.11-1.12.0.jar,还是报java.lang.ClassNotFoundException: org.apache.flink.connectors.hive.HiveSource 麻烦看一下


使用 SQL Client,进行hive查询时报错:  命名有了flink-connector-hive_2.11-1.12.0.jar,还是报java.lang.ClassNotFoundException: org.apache.flink.connectors.hive.HiveSource  麻烦看一下

报错信息:

Flink SQL> select count(*) from zxw_test_1225_01;  2020-12-30 16:20:42,518 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.spark.client.submit.timeout.interval does not exist  2020-12-30 16:20:42,519 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.support.sql11.reserved.keywords does not exist  2020-12-30 16:20:42,520 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.spark.client.rpc.server.address.use.ip does not exist  2020-12-30 16:20:42,520 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.enforce.bucketing does not exist  2020-12-30 16:20:42,520 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.server2.enable.impersonation does not exist  2020-12-30 16:20:42,520 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.run.timeout.seconds does not exist  2020-12-30 16:20:43,065 WARN org.apache.hadoop.hdfs.shortcircuit.DomainSocketFactory [] - The short-circuit local reads feature cannot be used because libhadoop cannot be loaded.  2020-12-30 16:20:43,245 INFO org.apache.hadoop.mapred.FileInputFormat [] - Total input files to process : 24  [ERROR] Could not execute SQL statement. Reason:  java.lang.ClassNotFoundException: org.apache.flink.connectors.hive.HiveSource

lib包:

tree lib

lib  ├── flink-connector-hive_2.11-1.12.0.jar  ├── flink-csv-1.12.0.jar  ├── flink-dist_2.11-1.12.0.jar  ├── flink-hadoop-compatibility_2.11-1.12.0.jar  ├── flink-json-1.12.0.jar  ├── flink-shaded-hadoop-2-uber-2.8.3-10.0.jar  ├── flink-shaded-zookeeper-3.4.14.jar  ├── flink-table_2.11-1.12.0.jar  ├── flink-table-blink_2.11-1.12.0.jar  ├── hive-exec-2.3.4.jar  ├── log4j-1.2-api-2.12.1.jar  ├── log4j-api-2.12.1.jar  ├── log4j-core-2.12.1.jar  └── log4j-slf4j-impl-2.12.1.jar*来自志愿者整理的flink邮件归档


参考回答:

你在启动之后才把 jar 包放进去的吗,重启下 SQL Client 试试?


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/361812?spm=a2c6h.14164896.0.0.169a63bf5w2htC


问题二:flink-sql 客户端,咋回事 我show tables 报错


1c2a8e4c928c5b487b7d8223d1e7ffac_7750382a79194eb2b1fb4fb761dc706c.png


参考回答:

缺少语言包


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/446435?spm=a2c6h.14164896.0.0.169a63bf5w2htC


问题三:Flink Sql不支持executeSql多次select into语句吗?


一个Flink CDC程序,想要执行两次不同的select into语句。报错



关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/438350?spm=a2c6h.14164896.0.0.169a63bf5w2htC


问题四:flink sql client数据插入文件报错,请教各位大佬,这个该怎么解决?


flink sql client数据插入文件报错,请教各位大佬,这个该怎么解决? #Flink



参考回答:

因为只支持append 流,要么换插入的地方,要么改源码


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/310281?spm=a2c6h.14164896.0.0.169a63bf5w2htC


问题五:我使用flink sql cdc取连接 mysql表的时候,当我的mysql表type这个字段类型是tinyint类型时 使用type in(1,2,3,4,5)会报以下的错误,只有当我把字段类型改成int的时候才能使用in,这是符合预期的吗,当字段类型不匹配的时候 flink sql不会自动转换类型吗?


我使用flink sql cdc取连接 mysql表的时候,当我的mysql表type这个字段类型是tinyint类型时 使用type in(1,2,3,4,5)会报以下的错误,只有当我把字段类型改成int的时候才能使用in,这是符合预期的吗,当字段类型不匹配的时候 flink sql不会自动转换类型吗?

[ERROR] Could not execute SQL statement. Reason: org.codehaus.commons.compiler.CompileException: Line 6, Column 88: No applicable constructor/method found for actual parameters "int"; candidates are: "org.apache.flink.table.runtime.util.collections.ByteHashSet()*来自志愿者整理的flink邮件归档


参考回答:

从你的报错来看,是 in 不支持隐式 CAST。 你要么可以把 type 定义成 INT,要不把后面的值 CAST 成 TINYINT。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/371595?spm=a2c6h.14164896.0.0.671063bfD4aSq3

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
2月前
|
SQL 安全 数据库
如何在Django中正确使用参数化查询或ORM来避免SQL注入漏洞?
如何在Django中正确使用参数化查询或ORM来避免SQL注入漏洞?
155 77
|
2天前
|
SQL 数据库
数据库数据恢复—SQL Server报错“错误 823”的数据恢复案例
SQL Server数据库附加数据库过程中比较常见的报错是“错误 823”,附加数据库失败。 如果数据库有备份则只需还原备份即可。但是如果没有备份,备份时间太久,或者其他原因导致备份不可用,那么就需要通过专业手段对数据库进行数据恢复。
|
12天前
|
SQL 关系型数据库 分布式数据库
利用 PolarDB PG 版向量化引擎,加速复杂 SQL 查询!完成任务领发财新年抱枕!
利用 PolarDB PG 版向量化引擎,加速复杂 SQL 查询!完成任务领发财新年抱枕!
|
3天前
|
SQL 关系型数据库 OLAP
云原生数据仓库AnalyticDB PostgreSQL同一个SQL可以实现向量索引、全文索引GIN、普通索引BTREE混合查询,简化业务实现逻辑、提升查询性能
本文档介绍了如何在AnalyticDB for PostgreSQL中创建表、向量索引及混合检索的实现步骤。主要内容包括:创建`articles`表并设置向量存储格式,创建ANN向量索引,为表增加`username`和`time`列,建立BTREE索引和GIN全文检索索引,并展示了查询结果。参考文档提供了详细的SQL语句和配置说明。
20 1
|
4天前
|
SQL
【YashanDB 知识库】使用 leading hint 调整 SQL 执行计划后报错 YAS-04522 invalid hint leading
在 YashanDB 的所有版本中,使用 leading hint 调整 SQL 执行计划时可能出现“YAS-04522 invalid hint leading”错误,导致 SQL 无法正常执行。原因是 YashanDB 优化器的 Bug。解决方法为避免使用 leading hint。可通过创建测试表 a、b、c 并执行特定 SQL 语句来验证问题是否存在。
|
2月前
|
SQL 大数据 数据处理
Flink SQL 详解:流批一体处理的强大工具
Flink SQL 是为应对传统数据处理框架中流批分离的问题而诞生的,它融合了SQL的简洁性和Flink的强大流批处理能力,降低了大数据处理门槛。其核心工作原理包括生成逻辑执行计划、查询优化和构建算子树,确保高效执行。Flink SQL 支持过滤、投影、聚合、连接和窗口等常用算子,实现了流批一体处理,极大提高了开发效率和代码复用性。通过统一的API和语法,Flink SQL 能够灵活应对实时和离线数据分析场景,为企业提供强大的数据处理能力。
232 26
|
2月前
|
SQL NoSQL Java
Java使用sql查询mongodb
通过MongoDB Atlas Data Lake或Apache Drill,可以在Java中使用SQL语法查询MongoDB数据。这两种方法都需要适当的配置和依赖库的支持。希望本文提供的示例和说明能够帮助开发者实现这一目标。
54 17
|
2月前
|
SQL Oracle 关系型数据库
如何在 Oracle 中配置和使用 SQL Profiles 来优化查询性能?
在 Oracle 数据库中,SQL Profiles 是优化查询性能的工具,通过提供额外统计信息帮助生成更有效的执行计划。配置和使用步骤包括:1. 启用自动 SQL 调优;2. 手动创建 SQL Profile,涉及收集、执行调优任务、查看报告及应用建议;3. 验证效果;4. 使用 `DBA_SQL_PROFILES` 视图管理 Profile。
|
11天前
|
SQL 数据可视化 IDE
SQL做数据分析的困境,查询语言无法回答的真相
SQL 在简单数据分析任务中表现良好,但面对复杂需求时显得力不从心。例如,统计新用户第二天的留存率或连续活跃用户的计算,SQL 需要嵌套子查询和复杂关联,代码冗长难懂。Python 虽更灵活,但仍需变通思路,复杂度较高。相比之下,SPL(Structured Process Language)语法简洁、支持有序计算和分组子集保留,具备强大的交互性和调试功能,适合处理复杂的深度数据分析任务。SPL 已开源免费,是数据分析师的更好选择。
|
2月前
|
SQL Java 数据库连接
【潜意识Java】MyBatis中的动态SQL灵活、高效的数据库查询以及深度总结
本文详细介绍了MyBatis中的动态SQL功能,涵盖其背景、应用场景及实现方式。
123 6

相关产品

  • 实时计算 Flink版