哪位大佬知道Flink CDC忽略delete那个参数？

在阿里云实时计算 Flink 版中，Flink CDC 忽略 DELETE 操作的参数主要通过 ignoreDelete 或类似功能的参数实现。以下是具体说明和配置方法：

1. ignoreDelete 参数

ignoreDelete 是一个布尔类型的参数，用于控制是否忽略 DELETE 类型的消息。
- 取值： - true：忽略 DELETE 消息。 - false（默认值）：不忽略 DELETE 消息。

• 适用场景：

  • 如果希望下游系统不处理 DELETE 操作，可以将该参数设置为 true。
  • 在多个输出节点根据主键同时更新同一张结果表的不同字段时，忽略 DELETE 操作可以避免数据结果不正确的问题。

• 示例：

  CREATE TABLE sink_table (
  ...
  ) WITH (
  'connector' = '...', 
  'ignoreDelete' = 'true'
  );
  

2. partial-update.ignore-delete 参数

在部分更新（Partial Update）场景下，partial-update.ignore-delete 参数也可以用来忽略 DELETE 消息。
- 适用版本： - 在实时计算引擎 VVR 8.0.6 及以下版本，该参数仅在 merge-engine = partial-update 时生效。 - 在 VVR 8.0.7 及以上版本，推荐使用统一的 ignore-delete 参数，并避免同时配置这两个参数。

• 示例：

  CREATE TABLE sink_table (
  ...
  ) WITH (
  'connector' = '...', 
  'partial-update.ignore-delete' = 'true'
  );
  

3. sink.delete-strategy 参数

对于某些连接器（如 Paimon、Elasticsearch 等），可以通过 sink.delete-strategy 参数指定删除消息的处理策略。
- 取值： - IGNORE_DELETE：忽略 -U 和 -D 类型的消息，Sink 不发生回撤。 - NON_PK_FIELD_TO_NULL：忽略 -U 类型的消息，但在收到 -D 类型的消息时，保持主键值不变，其他非主键字段置为 NULL。 - DELETE_ROW_ON_PK：忽略 -U 类型的消息，但在收到 -D 类型的消息时，删除主键对应的行。 - CHANGELOG_STANDARD：按照 Flink SQL Changelog 的工作原理运行，不忽略删除操作。

• 示例：

  CREATE TABLE sink_table (
  ...
  ) WITH (
  'connector' = '...', 
  'sink.delete-strategy' = 'IGNORE_DELETE'
  );
  

4. ClickHouse 的特殊处理

在 ClickHouse 结果表中，ignoreDelete 参数的默认值为 true，即默认忽略 DELETE 消息。
- 注意事项： - 如果设置 ignoreDelete=false，则需要确保 DDL 中声明了主键，否则无法支持以分区方式写入 ClickHouse 分布表的本地表。

• 示例：

  CREATE TABLE sink_table (
  ...
  ) WITH (
  'connector' = 'clickhouse', 
  'ignoreDelete' = 'false'
  );
  

5. Paimon 主键表的过滤删除消息

在使用 Paimon 主键表时，可以通过 SQL Hint 设置 ignore-delete 参数来过滤 DELETE 消息。
- 示例：

INSERT INTO paimon_table /*+ OPTIONS('ignore-delete'='true') */
SELECT * FROM source_table;

6. 重要提醒

• 性能影响：如果未忽略 DELETE 操作，某些存储系统（如 ClickHouse）可能会使用低效的 ALTER TABLE DELETE 语句，导致性能显著下降。
• 数据一致性：忽略 DELETE 操作可能会影响数据一致性，请根据实际业务需求决定是否启用该参数。
• 版本兼容性：不同版本的实时计算引擎对参数的支持可能存在差异，请确保使用与参数匹配的引擎版本。

通过上述配置，您可以灵活地控制 Flink CDC 是否忽略 DELETE 操作，从而满足不同的业务需求。