问题一:Flink 这是为何?
Flink 这是为何?我的数据库中压根没有wh_item_lending这个表 flink是1.13.6的 CDC是1.4.0
参考答案:
应该是mysql 的元数据出问题了。表不存在,但是表的元数据还有 ,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/609770
问题二:Flink能否获取subtask的资源使用情况,例如CPU使用率,内存使用率,磁盘使用率。
Flink能够通过监控指标获取TaskManager的资源信息,我现在想要获取每个subtask线程的信息,我应该如何获取subtask的资源使用信息,有相关代码或者文档吗。感谢
参考答案:
在 Web UI 中,你可以导航到特定作业的运维页面,通常可以看到作业的整体资源消耗,包括 CPU 使用率、内存使用情况(如已分配、已使用、剩余等)、网络流量等。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/609021
问题三:flinkcdc3.0 重启启动任务 ,如何从指定savepoint恢复?
flinkcdc3.0 重启启动任务 ,如何从指定savepoint恢复?
flink-conf.yaml 配置
execution.savepoint.path: /flinksavepoint/savepoint-93d57e-096b303dd391
这种方式测试了ok ,不过用起来不太方便
有没有其他方式 ,通过命令行传递参数的方式
参考答案:
在 Apache Flink 中,你可以通过命令行参数的方式来指定从哪个 Savepoint 恢复任务。当你提交 Flink 任务时,可以使用 --fromSavepoint
参数并指定 Savepoint 的路径。
例如,如果你有一个名为 my_flink_job
的作业,并且你想要从 /flinksavepoint/savepoint-93d57e-096b303dd391
这个 Savepoint 恢复它,你可以使用以下命令:
flink run -m yarn-cluster -c com.example.MyJobClass /path/to/your/flink-job.jar --fromSavepoint /flinksavepoint/savepoint-93d57e-096b303dd391
在这个命令中:
flink run
是启动 Flink 作业的命令。-m yarn-cluster
指定了作业将在 YARN 集群上运行(根据你的部署环境,这可能是其他值,如local
或remote
)。-c com.example.MyJobClass
指定了作业的主类。/path/to/your/flink-job.jar
是你的 Flink 作业打包成的 JAR 文件的路径。--fromSavepoint
是命令行参数,用于指定从哪个 Savepoint 恢复。/flinksavepoint/savepoint-93d57e-096b303dd391
是 Savepoint 的路径。
使用这种方式,你不需要在 flink-conf.yaml
配置文件中设置 execution.savepoint.path
,因为它会作为命令行参数直接传递给 Flink 作业。
此外,如果你想要让 Flink 在作业失败时自动从最近的 Savepoint 恢复,你可以在作业提交时启用外部化 Savepoint。这通常通过添加 --externalized-checkpoint-retaining
参数来实现,这样 Flink 会在作业取消或失败时保留 Savepoint。例如:
flink run -m yarn-cluster -c com.example.MyJobClass /path/to/your/flink-job.jar --enableExternalizedCheckpoints --externalizedCheckpointRetainingOnCancellation ON
这样,当作业失败时,你可以使用 flink cancel
命令取消作业,并指定 --fromSavepoint
参数来从最近保留的 Savepoint 恢复作业。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/608958
问题四:flink 从业务库同步到holo,用ADTS的方式,怎么创建SQL ?
flink 从业务库同步到holo,业务库的库表名是cmc.comm_cinema 同步到holo,希望同步到holo的表名是ods.cmc_comm_cinema , 用ADTS的方式,怎么创建SQL ?
参考答案:
您好,CDAS目前不支持加表名前缀,只能放入不同的schema中
在with参数里指定 schemaname 即可:https://help.aliyun.com/zh/flink/user-guide/manage-hologres-catalogs?spm=a2c4g.11186623.0.i2#b4aee380e20ck
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/608128
问题五:Flink执行没问题,也没有报错日志,但kafka查了没有数据;怎么解决?
作业: mysql数据 同步去 kafka;
问题:Flink执行没问题,也没有报错日志,但kafka查了没有数据;怎么解决? mysql变更数据,kafka也没看到有新增;
这是mysql的数据,就几条
参考答案:
看问题,应该是kafka连接问题,您看看这篇文档,先把对应的表创建出来的
关于本问题的更多回答可点击进行查看: