概述
2023 年 8 月 21 日正式对外发布 Flink 全托管的新版本，包含引擎更新、连接器更新、性能优化以及缺陷修复。
引擎侧将正式对外发布 VVR 8.0.1 版本，该版本是基于 Apache Flink 1.17.1 的全新企业级 Flink 引擎。在该版本中，我们将包含 Apache Flink 1.17.1 的所有新功能、性能提升与缺陷修复。在 Apache Flink 1.17 中，通过通用增量Checkpoint（GIC）功能，提升了 Checkpoint 的处理速度和稳定性。同时，增强了 Unaligned Checkpoint（UC）在处理作业反压时的稳定性，现在已达到生产级可用性。此外，Batch 的性能也得到大幅度改进。
在这个版本中，我们对企业级状态后端核心架构进行了重构，在性能和稳定性方面都有大幅提升，主要体现在两个方面：
（1）采用了更紧凑的状态格式和文件存储，以及更高效的数据清理策略，显著降低了本地状态存储空间，并大幅提升了访问性能。对于状态瓶颈的作业，其平均性能可以提升 40%以上，状态大小可缩减约 30%。
（2）进一步提升了状态扩缩容和恢复机制，在大状态场景下（100G）可以让作业更新断流时间从分钟级降低到秒级。新版本企业级状态在 VVR 8.0.1 作为默认版本，无需您更改配置。
除引擎内核与状态后端升级外，本次发布进一步增强了Flink与阿里云各存储和计算产品间的互操作性，提供了更丰富的连接器功能，并提升了性能和稳定性。主要包括：
- 正式推出 MongoDB CDC 连接器，进入公测阶段，支持高效地从 MongoDB 数据库中（复本集或分片集群架构）捕获实时增量和历史数据同步到下游系统。MongoDB CDC 连接器实现了增量快照算法，在全量阶段支持并发读取海量历史数据，自动切换从全量读到增量读，同步过程提供数据不丢不重语义；在增量读取阶段，支持扫描完整变更事件流事件，对下游 Flink SQL 计算作业非常友好。同时 MongoDB CDC 提供多种启动位点模式，方便您按需灵活选择。
- CDAS 功能支持了在对新增表等变更操作后，可以以有状态的方式重启作业并继续执行，这避免了重启带来的状态丢失与额外作业的管理成本。
- 新增 OceanBase 连接器，可以将 OceanBase 数据库作为结果表和维表使用。OceanBase 是阿里巴巴和蚂蚁集团 100% 自主研发的一款原生分布式关系型 HTAP 数据库，具有数据强一致、高可用、高性能、在线扩展、高度兼容 SQL 标准和主流关系型数据库、低成本等特点。
- 加强了 Tair 的企业级数据结构的更全面支持，您可以使用 Flink+TairTs 实时构建时序数据集，使用 Flink+TairVector 构建AI向量数据集，也可以通过 Flink+TairCpc 进行实时风控应用构建，或者采用 Flink+TairRoaring 实现实时客户画像系统。
- 新增对阿里云 SLS Catalog 结果表的支持，您可以使用持久表的方式进行 SLS 数据表的定义与写入。
- 作为一个预览功能，本次发布包含了 Apache Paimon 0.5-snapshot 的更新，并支持了 Flink CDC 写入 Paimon 时源表列类型变更应用。
我们将在两周内在全网进行分步骤的灰度，灰度完毕后的客户和区域平台能力将完成升级，并且可以在作业选择引擎的列表中看到新引擎版本，欢迎您将作业使用的引擎升级至此版本，具体操作请参见作业引擎版本升级。期待您的使用体验反馈！
主要功能介绍
特性 |
详情 |
相关文档 |
MongoDB CDC连接器开始公测 |
支持以源表形式读取MongoDB增量变化数据。 |
|
CDAS支持新增表后的有状态重启 |
在整库同步中，如果源库新增表，则作业重新启动后即可生效，对新增表进行数据同步。 |
|
双流Join支持不同流的State TTL分别设置 |
在部分涉及双流Join的业务场景中，两个不同的流可能需要设定不一样的长度。通常而言，某一个流或许需要长达15天的设置时间，与此同时，另一条流可能只需短至1天的设置时间，即可使业务需求得以满足。通过新加此项功能，一方面能提升作业稳定性，另一方面则能有效降低运行成本。 |
无。 |
新增OceanBase连接器 |
支持作为结果表和维表使用。 |
|
SLS连接器支持查询下推 |
支持在源端进行数据过滤，提升读取效率。 |
|
SLS Catalog支持结果表 |
支持使用Catalog进行SLS的写入。 |
|
ADB PostgreSQL连接器支持ADB PostgreSQL 7.0版本 |
新增对云原生数据仓库AnalyticDB PostgreSQL版7.0版本的支持。 |
|
Tair连接器支持更多的数据类型写入 |
新增对TairTs、TairCpc、TairRoaring、TairVector和TairGis的支持。 |
|
Paimon升级，并支持Flink CDC写入Paimon时源表列类型变更应用 |
Paimon升级到0.5-snapshot版本，并支持了当通过Flink CDC写入Paimon数据时，如果源表发生了列变更，Paimon可以应用此变更。 |
重要缺陷修复
- 修复 MySQL 源表读取 PolarDB MySQL 时出现 Filtering update table metadata event: Event{header=EventHeaderV4 的问题。
- 修复使用带有条件的窗口 TVF 时无数据输出的问题。
更多内容
活动推荐
阿里云基于 Apache Flink 构建的企业级产品-实时计算 Flink 版现开启活动：
首购99元包月试用，有机会赢取定制周边礼品！
产品官网：https://www.aliyun.com/product/bigdata/sc
