flink1.18发布与flink-cdc有重大相关调整吗?

展开

收起

真的很搞笑 2023-11-01 14:24:36 126 0

4 条回答

写回答

取消提交回答

小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
是的，Flink 1.18 版本发布了许多新特性，并且对 Flink CDC 功能进行了重大优化和改进。以下是其中的一些重要更新：
1. 支持并行读取：Flink 1.18 版本中添加了并行读取的支持，使得 Flink CDC 可以更高效地处理大规模数据源。这使得用户可以同时读取多个数据源，并充分利用多核 CPU 资源，从而大大提高读取速度和处理能力。
2. 更强的容错性：Flink 1.18 版本增强了 Flink CDC 的容错机制，使得系统更加健壮，即使在故障发生的情况下也可以快速恢复并继续处理数据。
3. 更新的状态后端：Flink 1.18 版本中采用了 RocksDB 状态后端，可以有效地提高状态存储和访问性能。
4. 改进了批处理任务的性能和稳定性：Flink 1.18 版本引入了许多性能优化和修复，提高了批量任务的运行效率和稳定性。
5. 新增了更多的 Sink 接口和 connectors: Flink 1.18 版本支持了更多的 Sink 接口和 Connectors，增加了数据库和大数据平台的支持。
2023-11-02 15:31:01

赞同展开评论打赏
sunrr

是的，Flink 1.18的发布与Flink-CDC有重大相关调整。Flink-CDC是一个独立的开源项目，项目代码托管在GitHub上。在Flink 1.18版本中，社区开发了flink-cdc-connectors组件，这是一个可以直接从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的source组件。

因此，如果您在Flink 1.18版本中使用了Flink-CDC，您可能会遇到与以前版本不同的行为和配置方式。建议仔细阅读Flink 1.18版本的官方文档和Flink-CDC的文档，以确保您了解这些变化并正确配置您的应用程序。

2023-11-02 14:57:32

赞同展开评论打赏
芯在这

https://github.com/ververica/flink-cdc-connectors/pull/2463，此回答整理自钉群“Flink CDC 社区”

2023-11-01 21:28:00

赞同展开评论打赏
听风de歌
Apache Flink CDC 在 Flink 1.18 发布之后进行了许多优化和改进，主要包括以下几个方面：
- 加入了新的功能，如分区表的创建、聚合函数的支持以及 SQL 表达式的扩展等；
- 新增了一些功能，如从多个源节点同步增量变化；
- 对现有的CDC功能进行了增强和完善，比如性能优化和错误修复等。
2023-11-01 15:54:07

赞同展开评论打赏