网站每天被27.115.124.xx 上海联通的几十个IP 访问几百次 悬赏1元 已结束

1、百度蜘蛛，有的网站日志后面，就有Mozilla/ (compatible; Baiduspider/ 标注；
2、这个爬虫是否抓取你的正常存在页面，如果是，且并未影响到你的网站，网站可以正常访问，那么这种无影响；
3、如果这个量级太大，导致你的网页直接无法访问，判定不是真的蜘蛛，可屏蔽掉。

我跟你一样，遇到 27 115 124 * 和 123 6 49 * 这两个IP段的频繁访问，已经持续了一年多的时间了，很是顽固，只要有人访问（无论是什么路径）这两个IP段都会跟着去访问，甚至是秒访，期间我也做了屏蔽，但是不管屏蔽多久，每次放开后，它都会恢复频繁访问；经过多方面排查，确定不属于搜索引擎的蜘蛛，因为屏蔽也不影响收录排名，包括目前我还在跟进这两段IP，有可能是网络网关的节点，也有可能是360安全扫描（这个可能性不多，因为来源路径有很多是百度），也有可能是被某个采集盯上了（这个概率比较大），但好像没做什么过分的扫描，没有产生404；所以我就放开了，给它返回一个指定页面，看它最后到底想干嘛，正在追踪中

这几天这样的ip很多，前几天三个小时，有两个ip一直访问我的网站，我的站直接都打不开了，然后禁掉了，一个小时，消耗了我近80G的流量

判定不是真的蜘蛛，可屏蔽掉

不是爬虫的话可以试着禁了

这种情况可能是正常的网络爬虫行为，也可能是恶意攻击或者非法的自动化程序（如僵尸网络）。

1、分析访问日志：查看详细的访问日志，了解这些IP地址的访问模式和请求内容。这可以帮助确定是自动化程序、合法爬虫还是恶意攻击。

2、IP地址封锁：如果确认某些IP地址是恶意的，可以考虑在服务器或者网站防火墙上设置IP封锁规则，阻止这些IP地址的访问。

看日志不是搜索引擎爬虫，多观察访问链接和时间段，如果过于密集，可以考虑是采集器或者人工采集信息，可以封禁ip访问

- - [02/Jul/2024:11:54:38 +0800] ＂GET /article/ HTTP/＂ 200 9261 ＂-＂ ＂Mozilla/ (Windows NT WOW64) APPleWebKit/ (KHTML, like Gecko) Chrome/ Safari/＂
- - [02/Jul/2024:11:54:38 +0800] ＂GET /article/ HTTP/＂ 200 8987 ＂-＂ ＂Mozilla/ (Windows NT WOW64) AppleWebKit/ (KHTML, like Gecko) Chrome/ Safari/＂
- - [02/Jul/2024:11:54:39 +0800] ＂GET /api/article/category? HTTP/＂ 200 102439 ＂＂ ＂Mozilla/ (Windows NT WOW64) AppleWebKit/ (KHTML, like Gecko) Chrome/ Safari/＂
- - [02/Jul/2024:11:55:36 +0800] ＂GET /api/article/category? HTTP/＂ 200 102439 ＂＂ ＂Mozilla/ (Windows NT WOW64) AppleWebKit/ (KHTML, like Gecko) Chrome/ Safari/＂
- - [02/Jul/2024:11:55:37 +0800] ＂GET /article/ HTTP/＂ 200 8732 ＂-＂ ＂Mozilla/ (Windows NT WOW64) AppleWebKit/ (KHTML, like Gecko) Chrome/ Safari/＂
- - [02/Jul/2024:11:55:38 +0800] ＂GET /api/article/category? HTTP/＂ 200 102439 ＂＂ ＂Mozilla/ (Windows NT WOW64) AppleWebKit/ (KHTML, like Gecko) Chrome/ Safari/＂