网站日志分析:蜘蛛频繁抓取一个不存在的文件,怎回事?求这方面高手解答!

2,855 次浏览

最近在一个客户网站上发现 服务器日志里发现蜘蛛只频繁抓取一个 /iisstart.htm文件,连首页和robots文件也不抓取,导致这两天网站文章收录很差。这是怎么回事?
求高手解答,在下感激不尽!情况如图:



追加问题
分享到微信 收藏
    3 人参与回答
阳勇三木 等 2 人赞同该回答

百度和360的蜘蛛同一个IP?先验证下蜘蛛。不存在,返回码怎么可能是200?

三木
三木 · 八年网络营销经验,微信公众号:三木谈
阳勇 等 1 人赞同该回答

这个一看就是假蜘蛛,同一个ip地址怎么能冒出来 一个是百度蜘蛛一个是360蜘蛛。

黎亦峰
黎亦峰 · 坚持自己,创新做事情

如果是没有多大意义的页面,可以给那个连接加Nofollow,或者直接Robots下禁止抓取,便可以了,一个站的抓取量是有限的。