大量的蜘蛛爬行抓取造成网站访问速度慢(包括恶意的蜘蛛)

您所在的位置:网站首页 百度蜘蛛一直爬网站 大量的蜘蛛爬行抓取造成网站访问速度慢(包括恶意的蜘蛛)

大量的蜘蛛爬行抓取造成网站访问速度慢(包括恶意的蜘蛛)

2024-07-11 06:25| 来源: 网络整理| 查看: 265

标题:大量的蜘蛛爬行抓取造成网站访问速度慢(包括恶意的蜘蛛)

问题现象:网站开启后CPU2-5秒即达到100%使用率,短期内网站可以正常访问,1-2天后网站无法打开,或者打开加载特慢。 网站访问速度慢

原因:大量的蜘蛛爬行抓取造成网站访问速度慢 处理方法: 1、登陆宝塔下载LOG日志 大量的蜘蛛爬行抓取造成网站访问速度慢

2、使用notepad++打开日志信息分析查看 大量的蜘蛛爬行抓取造成网站访问速度慢

3、Notepad++打开了以后发现大量的同IP段的访问。为了更直观的处理问题,将访问日志,全选后复制到excel表格内。 大量的蜘蛛爬行抓取造成网站访问速度慢

4、新建一例使用excel函数=MID(B1,1,10)提取后一单元格内的1-10数据。 大量的蜘蛛爬行抓取造成网站访问速度慢

5、使用excel筛选功能-分析IP段发现“罪魁祸首”46.229.168IP段。 大量的蜘蛛爬行抓取造成网站访问速度慢

6、登陆宝塔后台面板,安全-防火墙-屏蔽IP,使用IP段屏蔽,任务完成。 大量的蜘蛛爬行抓取造成网站访问速度慢

7.恢复正常展示。 大量的蜘蛛爬行抓取造成网站访问速度慢



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3