开发者社区> 问答> 正文

关于flink sql的kafka source的开始消费offset相关问题。

如题,按照官方文档的kafka source部分,有如下配置说明。

scan.startup.mode : optionalgroup-offsetsStringStartup mode for Kafka

consumer, valid values are 'earliest-offset', 'latest-offset',

'group-offsets', 'timestamp' and 'specific-offsets'. See the following

Start Reading Position for more details.

其中Reading Positions部分说明如下:

The config option scan.startup.mode specifies the startup mode for

Kafka consumer. The valid enumerations are:

group-offsets: start from committed offsets in ZK / Kafka brokers of

a specific consumer group.

earliest-offset: start from the earliest offset possible.

latest-offset: start from the latest offset.

timestamp: start from user-supplied timestamp for each partition.

specific-offsets: start from user-supplied specific offsets for each

partition.

可见,latest-offset和group-offsets是2个配置,所以我配置latest-offset肯定是从最新部分开始消费的,而不管使用的说明group

id,以及这个group id已提交的offset,这个估计没问题。

然后我想知道的是:带有latest-offset这个配置的情况下,sql任务自动重启基于检查点的情况呢?是否从最新消费,还是基于检查点的offset消费。

对于flink stream中实现,我知道是从检查点offset的,为此我还覆盖过实现。 现在想知道下sql部分实现是否也类似,不想去查sql部分,不熟悉。*来自志愿者整理的flink邮件归档

展开
收起
EXCEED 2021-12-02 14:24:52 1096 0
1 条回答
写回答
取消 提交回答
  • sql 也是会从上一次成功的 checkpoint 中保存的 offset 位置开始恢复数据的.*来自志愿者整理的FLINK邮件归档

    2021-12-02 14:37:43
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server 2017 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载