flink写mysql问题

在任务做检查点的时候，内存中缓存的一批数据如何 flush 到 mysql 中的呢

JdbcDynamicTableSink 不包含具体 sink function

的实现，具体的实现位于 GenericJdbcSinkFunction。该类的 snapshotState 即为 snapshot 的实现。不同的

jdbc 数据库以及不同的 sql 之间攒 batch 的行为略有不同，具体见 JdbcBatchStatementExecutor 及其子类。

写 mysql 的 qps 只能到几百，反压严重

jdbc connector 有一些 with 参数用来控制 flush 的时间。例如 sink.buffer-flush.interval

就会控制攒了多少数据就 flush。它的默认值是 100，因此对于流量比较大的作业需要相应调大。其他相关参数见 [1]。

算子使用 sum 计算，高峰时候 1000条/s，但是做检查点需要好几分钟才能完成

checkpoint 阻塞有大量原因。从邮件中的描述来看最有可能是因为 sink 反压导致上游 checkpoint

也被反压。排除该原因后还可以观察 checkpoint 大小是否过大，以及相应节点 gc 时间是否过长。这个要结合具体的 sql 分析。

[1]

https://ci.apache.org/projects/flink/flink-docs-master/zh/docs/connectors/table/jdbc/#sink-buffer-flush-max-rows*来自志愿者整理的FLINK邮件归档