开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

任务的执行模型是什么样的?

任务的执行模型是什么样的?

展开
收起
詹姆斯邦德00 2021-11-17 17:10:04 1188 0
1 条回答
写回答
取消 提交回答
  • 一般来说每个OperatorChain 都有自己的输入和输出,输入是InputGate, 输 出 是ResultPartition。这些任务总体会在一个独占的线程中执行,任务从 InputGate 中读取数据,将它喂给 OperatorChain,OperatorChain 进行业务逻辑的处理,最后会将产出的数据输出到 ResultPartition。

    这地方有一个例外是 Source task,它不从 InputGate 中读取数据,而直接通过SourceFunction 方式来产出数据。上游的 ResultPartition 和下游的 InputGate会通过 Flink 的 ShuffleService 进行数据交换。ShuffleService 是一个插件,目前Flink 默认是 NettyShuffleService,下游的 InputGate 会通过 Netty 来从上游的ResultPartition 中获取数据。

    资料来源:《Apache Flink 必知必会》,下载链接:https://developer.aliyun.com/topic/download?id=1189 

    2021-11-17 19:17:17
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载