开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc的数据库连接数大小是由什么决定的?作业停止后连接不释放的原因是什么?我flink作

flink cdc的数据库连接数大小是由什么决定的?作业停止后连接不释放的原因是什么?我flink作业都停止了,但连接还一直不释放,2.3.0

展开
收起
真的很搞笑 2023-07-02 17:13:15 121 0
3 条回答
写回答
取消 提交回答
  • Flink CDC 的数据库连接数大小由两个主要因素决定:Flink 的并行度和数据库连接池的设置。

    1. Flink 的并行度:Flink CDC 作业的并行度决定了同时执行的任务数量,而每个任务通常需要一个数据库连接。因此,并行度越高,所需的数据库连接数也就越多。

    2. 数据库连接池设置:Flink CDC 使用数据库连接池来管理连接,常用的连接池是 HikariCP。连接池的最大连接数设置会影响连接数的大小。你可以通过配置连接池参数,例如 maximumPoolSize,来控制最大连接数。

    对于作业停止后连接不释放的原因,可能有以下几个因素:

    1. 连接池设置不合理:如果连接池的最大连接数设置过高,或者连接池没有正确关闭,可能导致连接不被释放。建议检查连接池的设置,确保最大连接数和最小空闲连接数等参数合理,并在作业停止后正确关闭连接池。

    2. Flink CDC Connector 配置不正确:如果 Flink CDC Connector 的配置有误,例如没有正确设置连接池参数或未正确关闭连接池,也可能导致连接不被释放。请检查 Flink CDC Connector 的配置,确保连接池参数正确设置,并在作业停止后正确关闭连接池。

    3. 数据库问题:如果数据库出现问题,例如网络故障或数据库崩溃,也可能导致连接不被释放。请检查数据库状态,确保数据库正常运行,并在必要时重启数据库。

    总之,解决连接不释放的问题需要综合考虑多个因素,并根据实际情况进行调整和优化。建议在配置和使用 Flink CDC 时,参考文档并遵循最佳实践,确保连接池参数正确设置,并在作业停止后正确关闭连接池以释放连接资源。同时,对于数据库问题,需要确保数据库的稳定性和正常运行。如果问题仍然存在,请提供更多详细信息以便进一步分析和解决。

    2023-07-30 11:13:18
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    Flink CDC 的数据库连接数大小主要由两个因素决定:一是 Flink 的并行度,二是数据库连接池的设置。并行度越大,需要的数据库连接数也就越多;同时,连接池的最大连接数设置也会影响连接数的大小。在 Flink CDC 中,通常使用 HikariCP 作为数据库连接池,可以通过配置 HikariCP 的参数来控制最大连接数,例如,可以通过设置 "maximumPoolSize" 参数来控制最大连接数。建议根据实际情况评估并发量和数据库负载,适当调整并行度和连接池参数,以获得最佳的性能和稳定性。
    当 Flink CDC 作业停止后,连接不释放的原因可能有以下几种:
    数据库连接池设置不合理
    如果数据库连接池的最大连接数设置过高,或者连接池没有正确关闭,可能会导致连接不释放。建议检查数据库连接池的设置,确保最大连接数和最小空闲连接数等参数设置合理,以及在 Flink CDC 作业停止后,正确关闭连接池。
    Flink CDC Connector 配置不正确
    如果 Flink CDC Connector 的配置不正确,例如,没有正确设置连接池参数、连接池未正确关闭等,可能会导致连接不释放。建议检查 Flink CDC Connector 的配置,确保连接池参数设置正确,并在作业停止后,正确关闭连接池。
    数据库问题
    如果数据库出现问题,例如,网络故障、数据库崩溃等,可能会导致连接不释放。建议检查数据库状态,确保数据库正常运行,并在必要时重启数据库。
    总之,Flink CDC 的数据库连接数大小和连接释放问题需要综合考虑多个因素,并根据实际情况进行调整和优化。建议在配置和使用 Flink CDC 时,

    2023-07-30 10:07:01
    赞同 展开评论 打赏
  • 我换成2.4后,oracle的PGA内存还是一直消耗完,要把flink全关掉才能释放,我现在用2.4是oracle内存一直消耗完,2.3是有连接不释放的问题,用2.4看看,此回答整理自钉群“Flink CDC 社区”

    2023-07-02 17:23:33
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载