开发者社区> 问答> 正文

flink dataStream多次sink DAG重复驱动执行?

有个疑问, 如下程序片段:


Properties properties = new Properties(); properties.setProperty("bootstrap.servers",kafkaAddr); properties.setProperty("group.id",kafkaOdsGroup); properties.setProperty("auto.offset.reset",kafkaOdsAutoOffsetReset);

properties.setProperty(FlinkKafkaConsumerBase.KEY_PARTITION_DISCOVERY_INTERVAL_MILLIS,kafkaOdsPartitionDiscoverInterval);

properties.setProperty("transaction.timeout.ms",KafkaOdsTransactionTimeout);//kafka事务超时时间

FlinkKafkaConsumer flinkKafkaConsumer = new FlinkKafkaConsumer<>(kafkaOdsTopic,new SimpleStringSchema(),properties); DataStreamSource dataStreamSource = env.addSource(flinkKafkaConsumer); dataStreamSource.printToErr("1"); dataStreamSource.printToErr("2"); dataStreamSource.printToErr("3");

我对一个datastream进行多次相同操作的sink,请问是否会导致上游整个DAG重复驱动执行,基于spark的惯性思维,我认为上游DAG是会重复驱动执行的?*来自志愿者整理的flink邮件归档

展开
收起
EXCEED 2021-12-01 15:41:46 1235 0
1 条回答
写回答
取消 提交回答
  • 个人理解是不会重复驱动执行的,具体你可以测试一下,但是从底层原理上讲,我也讲不了。*来自志愿者整理的flink邮件归档

    2021-12-01 16:03:29
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载