记录一次linux负载和总cpu高,top查看不到高占用cpu资源的相关问题排查

您所在的位置:网站首页 cpu很高是什么原因 记录一次linux负载和总cpu高,top查看不到高占用cpu资源的相关问题排查

记录一次linux负载和总cpu高,top查看不到高占用cpu资源的相关问题排查

2023-09-12 22:40| 来源: 网络整理| 查看: 265

平时服务器负载也就在1-3这样高的时候10多点,这几天服务器负载一直在20多,但是不影响用加上比较忙没处理,今天抽空处理一下,在此记录以后遇到相同问题做参考。 首先上图(将就看下之前20多负载的图没找到 这个是服务器有人下载东西很卡时候截的图) 在这里插入图片描述 这里us使用了50多,但找不到占用资源非常高的进程。(以前遇到的木马脚本可以直接看到,顺着他去找到源码删除掉再kill进程删除相关定时任务就可以) 百度然后就是一堆答案: 1.系统内核版本问题 2.io带宽问题 3.某个程序调用子程序失败了然后频繁尝试重新调用,每次初始化占用cpu 4.中了木马 这里首先要先定位到是哪个方向的问题。如果我们平时细心观察服务器就可以排除前几项,平时服务器好好的突然就飙高了,这1,2两项应该不存在,第三个最近没上什么特殊功能,没什么乱七八糟的调用,显然问题就在4服务器遭木马入侵了。(这里首先提供个思路,服务器平时运行好好的,突然出问题十有八九是有木马挖矿等等,除非最近上了什么程序导致死循环什么的但这种直接top就能看到你的程序cpu占用很高) 平时的中木马处理流程: 1、top查看服务器情况。 2、查找到异常高占用cpu的进程。 3、ps -ef | grep PID 查找相关运行脚本,删除脚本 4、crontab -l 查看异常定时任务 或者 /etc/crontab 或者 /etc/cron.d 查找异常定时任务 删除 5、进程kill掉。 但这次top没有找到,那就看看定时任务吧,果然发现有个异常定时任务,里面有个不认识ip,百度一搜是米国的,服务器果然被下了挖矿脚本。 根据一些关键词搜搜,醉了运行好几天了 在这里插入图片描述 接着用netstat -anp 会看到这个ip在其中出现 tcp 0 0 x.x.x.x:33708 198.46.202.146:80 ESTABLISHED - tcp 0 0 x.x.x.x:33708 198.46.202.146:8899 ESTABLISHED bash 好多个,按照以前查杀木马情况 后面pid就是运行脚本了,但是这次bash好像并不是真正的。并且top中也没有出现。 接着参考这两篇文章 https://blog.csdn.net/w50feng/article/details/107034335,https://www.zhihu.com/question/59820313 找到 cat /etc/ld.so.preload 查看文件内容可以发现 它里面有地址又指向了 /usr/local/lib/ini.so /usr/local/lib/lib.so 在 /etc/除了ld.so.preload也找到文件ld.so.cache和ld.so.conf 在这里插入图片描述 接着就捣鼓捣鼓,把相应的脚本都删除,这中间也出现了 https://blog.csdn.net/w50feng/article/details/107034335 博文相同问题,Operation not permitted 删不掉没权限。 在这里插入图片描述 这篇博文lsattr查看是-------i------- 我那个是-------ia--------e----,但是我没看懂他那啥lockr授权问题。chattr -i ini.o chattr -a ini.o这样直接稀里糊涂操作一波,对应的 /usr/local/lib/ini.so和/usr/local/lib/lib.so都能删除了。再将之前的ld.so.preload 、ld.so.cache和ld.so.conf 都删除掉。 这时候top再看的时候会出现异常线程。 在这里插入图片描述 在这里插入图片描述 这边需要ps -ef | grep PID查询下脚本运行位置(我这后面又出现一次两次挖矿脚本的PID不一样) 在这里插入图片描述 可以看到在脚本的位置。到他目录下 ls -a 查看(注意如果使用xshell的ftp看不到这脚本) 在这里插入图片描述 可以看到里面.ini和.lib都是相关文件 rm -f删除掉 出现Operation not permitted问题和上面一样赋权限删除。

然后再把 bash和.lib 进程停止。把相应的cron都删除下。服务器负载正常了。

楼主对linux这些知识不太精通,里面的很多操作都是凭感觉来的,这里总结了一个最明显的特点,看脚本文件的修改时间。因为楼主观察了这几个脚本文件修改时间都是2021-01-22 11:01分,所以根据这个特点来查找相关的疑似木马脚本计较方便。

以上便是这次排除服务器异常的操作,如果说的错误的地方不准确的地方还请大牛指正。

参考博文: https://blog.csdn.net/w50feng/article/details/107034335 https://www.zhihu.com/question/59820313 cron清理可以按照这个博文看下有没有对应的执行脚本 https://www.cnblogs.com/hubavyn/p/4607094.html



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3