阿里云云监控到有两台redis服务器CPU被某进程消耗400%cpu资源
系统查看Top 情况并未找到高消耗进程X7但CPU100%ni
Netstat 查找到了一些异常请求,初步判断出组件被提权入侵了
尝试查找异常进程X7关联的文件,排查还在/etc/hosts发现增加了如下异常映射,查看相关异常文件内容后进一步确定问题,挖矿程序~
一路赚钱?? 挖矿来了!
http://www.yiluzhuanqian.com/ 还有主页介绍,Nice!
Unhide工具扫描/proc后也看到了隐藏进程
挖矿修改了centos 的动态链接库配置文件ld.so.preload内容并引用了/usr/local/lib/libjdk.so,开始top未查找到异常进程是由于该病毒涉及到 Linux 动态链接库预加载机制,是一种常用的进程隐藏方法,而 top 等命令都是受这个机制影响的,所以一开始并未看到相关进程。
问题至此,先清理动态链接库
[root@redis01 ~]# cp /etc/ld.so.preload /etc/ld.so.preload.bak
[root@redis01 ~]# vi /etc/ld.so.preload
删除相关内容
[root@redis02 ~]# echo $LD_PRELOAD
结果为空
清理完成后,top已经可以看到之前隐藏进程
lsof进一步查看该进程打开了哪些相关文件,问题定位清楚了,直接删除相关病毒文件 ,清理相关进程,调整 /etc/hosts文件,cpu回归正常负载,细查crontab暂时未发现非正常任务,观察状态。
问题主要由于使用root启动了redis导致被爆提权而后引起这一系列的后果...静思前后,任重道远~