RDS实例CPU一直被打满
1、问题描述
版本:阿里云专有云V2版本
客户反馈,通过drds执行SQL比较慢,之前很快就能执行完的SQL,需要三四秒才可以执行成功。
2、问题排查
首先排查drds的状况,通过drds manager发现该drds下面有两个docker节点,并且都是正常的。
检查drds下面挂的rds的实例状态,一共有四个rds,其中一个rds的CPU一直被打满,并且卡顿时间跟客户描述的一致。
问题已经基本定位到时其中一个RDS实例的CPU被打满,导致查询缓慢,拖慢了整个drds实例。
*
实例的cpu被打满,一般是由两种情况:
1、慢SQL,全表扫描等。此时qps不高,但是查询占用了大量的逻辑IO,需要扫描大量的数据行,导致CPU资源被大量消耗
2、qps高,业务量高峰。此时慢SQL不是问题所在。那就需要考虑从实际的规格和架构方面入手,可以提高rds的规格配置,增加只读实例等。
回到问题,登录到该rds。show processlit发现有很多慢查询,如图:
可以明显看到这种SQL执行时间特别长,达到了21秒,并且占用的逻辑读也特别高。问题还是在慢SQL方面。
那它的备库现在什么情况呢,通过show slave status发现。主备已经停止同步。
此时已经不能登录到备库,查看mysql进程,已经挂掉。
手动拉起mysql进程。后可以登录了。可以看到刚拉起主备延迟很高
3、问题解决
慢SQL已经反馈给客户进行处理,并且通知研发注意这种SQL,应用设计和开发过程中,要考虑查询的优化,遵守 MySQL 优化的一般优化原则,降低查询的逻辑 IO,提高应用可扩展性。
客户将SQL kill处理后,该rds的cpu恢复正常,并且从drds查询速度也恢复正常,问题解决。