开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC看这个日志是不是,postgresql。不允许查位点。是需要配置什么吗?

Flink CDC看这个日志是不是,postgresql。不允许查位点。是需要配置什么吗?image.png

展开
收起
真的很搞笑 2023-10-10 19:07:31 56 0
1 条回答
写回答
取消 提交回答
  • 从您提供的日志来看,确实显示了 PostgreSQL 数据库不允许查询位点(row-level locking)的信息。这是因为 PostgreSQL 默认情况下不支持行级锁定,而 Flink CDC 需要使用行级锁定来保证数据一致性和可靠性。

    如果您想在 PostgreSQL 中使用 Flink CDC 并启用行级锁定,需要进行以下配置:

    1. 在 PostgreSQL 中启用行级锁定。您可以编辑 postgresql.conf 文件,将 wal_level 参数设置为 replicalogical,以启用 WAL(Write-Ahead Logging)记录和行级锁定。

    2. 在 Flink 中配置 PostgreSQL 连接器。您需要在 Flink 的配置文件中指定 PostgreSQL 连接器的相关参数,例如连接 URL、用户名、密码等。同时,您还需要设置 scan.startup.mode 参数为 latest-offset,以启用基于偏移量的流处理。

    3. 在 Flink SQL 中创建源表和目标表。您需要使用 Flink SQL 语句创建源表和目标表,并在创建源表时指定要读取的列和数据类型。同时,您还需要在创建目标表时指定要写入的列和数据类型。

    完成以上配置后,您应该可以在 Flink CDC 中正常使用 PostgreSQL 并启用行级锁定了。

    2023-10-11 13:57:51
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载