问题一:flink mysql cdc支持mysql的json格式吗?
flink mysql cdc支持mysql的json格式吗?
参考回答:
https://debezium.io/documentation/reference/1.5/connectors/mysql.html#mysql-basic-types 支持*来自志愿者整理的flink邮件归档
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/359857
问题二:flink checkpoint 数据清理问题怎么做?
背景:1.flink 集群模式 standalone HA ,共三台,zk选举jobmanager,1 active 1 standby 2.文件系统由于公司原因,没有用hdfs,用的本地文件系统 3.backend用的增量rocksdb
配置情况:
进程分布情况如下:
问题:checkpoint数据在01(01是主jobmanager)上占用很小,但在02、03节点增长特别快,目前已占用数据盘90%的存储。 但由于使用的是增量rocksdb,不敢随意删chekpoint数据,想问问大佬们: 1.是否有办法让flink自动清理过期checkpoint,还是只能通过加磁盘方式解决? 2.我一直认为checkpoint数据是由主jobmanager触发写的,那么在当前情况应该只有01节点会写入checkpoint(本地磁盘),为什么02、03节点也会写入checkpoint,而且写入量比01大那么多?*来自志愿者整理的flink邮件归档
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/359860
问题三:请教flink cep如何对无序数据处理?想问下Flink的CEP能够对无序数据流进行处理匹配嘛?
我这里指的无序事件是:例如有两个事件,事件A和事件B,在一个时间窗口内,只要匹配到了A和B,不论A和B的到来顺序,我都认为是符合我的条件*来自志愿者整理的flink邮件归档
参考回答:
这样可以不?*来自志愿者整理的flink邮件归档
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/359861
问题四:维度表 处理时间怎么做?
大佬们好,我们现在有个场景,是left join mysql维度表的,但是更新比较慢,大概10分钟更新一条,但是事实表速度比较快,每秒几万条。并且需要更新最新数据。如果采用mysql cdc形式,那水位对等就要较长延迟。有什么好方式能够join到最新数据吗,使用处理时间?*来自志愿者整理的flink邮件归档
参考回答:
只需要最新的维表数据,可以用处理时间,这样是事实表每条都实时去查mysql最新维表数据;
如果业务可以接受近似最新的维表数据,也可以将查询的维表结果通过缓存优化,减少访问mysql io访问,这两个参数:
lookup.cache.max-rows"
lookup.cache.ttl
祝好,
Leonard
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/359863
问题五:flink 1.13.0 ,使用flink sql 链接数据库是否支持多模式,即表名为schema.name是吗?
hi!
flink jdbc 是否有考虑支持表基于模式查询?如下 table-name写法:
CREATE TABLE MyUserTable ( id BIGINT, name STRING, age INT, status BOOLEAN, PRIMARY KEY (id) NOT ENFORCED ) WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://localhost:3306/mydatabase', 'table-name' = 'org.users' );*来自志愿者整理的flink邮件归档
参考回答:
请问是要用正则表达式匹配数据库中的table吗?‘org.users’ 是一个正则表达式吗?
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/359866