开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink写入mysql好慢啊,busy一直100%是什么原因呢?

flink写入mysql好慢啊,busy一直100%是什么原因呢?

展开
收起
JWRRR 2023-04-03 14:54:26 1699 0
2 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    Flink 写入 MySQL 慢的原因可能有很多,以下是一些可能的原因和对应的解决方法:

    1、数据库连接池设置过小:如果连接池设置过小,会导致 Flink 向 MySQL 数据库写入数据时,需要等待可用连接,从而影响写入速度。可以增加连接池大小,让 Flink 可以更快地获取到可用连接。如果您使用的是 Apache Flink,可以通过在 flink-conf.yaml 文件中配置以下参数来增加连接池大小:

    env.java.opts: "-Dflink.mysql.connections.max=100"
    

    2、数据库索引不合理:如果数据库表没有合适的索引,会导致写入数据时需要进行全表扫描,从而影响写入速度。可以根据写入数据的字段添加合适的索引,提高写入速度。

    3、数据库写入频率过高:如果写入数据的频率过高,可能会导致 MySQL 数据库写入缓慢,从而导致 Flink 在写入时等待过久。可以考虑减少写入频率,或者使用 MySQL 集群等技术提高写入性能。

    4、数据库性能不足:如果 MySQL 数据库的性能不足,会导致写入缓慢,可以考虑升级硬件或者使用更高性能的数据库。

    5、Flink 程序本身存在性能问题:如果 Flink 程序本身存在性能问题,可能会导致写入速度慢,可以通过调整程序逻辑或者优化代码来提高性能。

    6、数据库负载过高:如果 MySQL 数据库负载过高,可能会导致写入缓慢,可以考虑扩容 MySQL 数据库,或者优化 SQL 语句等来减轻数据库负载。

    另外,如果您的 Flink 任务 busy 一直保持在 100%,可能是因为任务本身存在性能问题,或者数据源或 Sink 等组件出现了瓶颈,建议检查任务日志或者使用 Flink 的监控工具来进行诊断。

    2023-04-03 18:29:21
    赞同 展开评论 打赏
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    你好,可能会有几个原因,比如数据库连接数不足、MySQL服务器的性能不足等,建议增加资源或调整参数再试试。

    2023-04-03 16:07:32
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    搭建电商项目架构连接MySQL 立即下载
    搭建4层电商项目架构,实战连接MySQL 立即下载
    PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

    相关镜像