Flink CDC是不是只能提交standalone模式和yarn-session？
Flink CDC使用flinksql客户端提交flink实时任务，是不是只能提交standalone模式和yarn-session，没办法提交application模式？
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。Flink CDC 使用 FlinkSQL 客户端提交实时任务时，并不局限于只能提交到 standalone 模式和 yarn-session 模式，也能够支持 application 模式。
Flink 提供了灵活的作业提交方式，包括 standalone、yarn-session 以及 yarn-application 模式。Flink SQL 是 Flink 的一个模块，它允许用户通过 SQL 语言来开发流处理和批处理作业。在 Flink 1.11 版本中，Table & SQL 开始支持 Change Data Capture（CDC），这使得 Flink 能更方便地集成和同步数据变更。
具体到 Flink CDC，它利用了 Flink 的数据源接口（TableSource）来捕获数据库的数据变更。通过 Debezium 采集的 JSON 格式数据包含了旧数据和新数据行以及操作信息等，这些信息会被转换成 Flink 可以处理的 RowData 数据结构。这意味着 Flink CDC 可以与 Flink 生态中的其他组件如 Kafka、Hudi 等无缝集成，实现数据的实时采集和同步。
因此，当您使用 FlinkSQL 客户端提交实时任务时，可以根据实际需求选择不同的提交模式。如果需要将任务作为长期运行的应用提交到 YARN 集群，您可以选择 yarn-application 模式。这为任务管理提供了更多灵活性，例如能够根据资源的可用性动态地调整任务的规模。
综上所述，Flink CDC 配合 FlinkSQL 客户端确实可以提交到 application 模式，这为实时数据处理和分析工作提供了更多可能性和便利。
2024-03-08 23:01:22赞同 1 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
相关课程
更多
相关文章
相关电子书
更多
