<p>而且百度站长抓取异常中也能看到大量的虚假页面被抓取,导致大量的500返回码。每天基本上都有600+的虚假页面,最多一次超10万+的虚假页面,最重要的是现在网站排名全部掉了,求帮助!</p><p><br></p><p><br></p>
1、这个问题在前面回复已回复过;
2、网站之前有建站历史吗,如果有那么这种可能正常,但是对于不存在的虚假页面,返回码是404才是正常;
3、网站返回码500,5xx是服务器空间不稳问题;
4、确定网站没有这些虚假的URL,之前也没出现过,也没换过URL,也没有旧站数据,确定这些都没有,同时在看下,你的死链返回码是否是404;
5、自身没问题,百度站长抓取异常都统计到这些URL,自身没问题,那么就是工具问题,就需要反馈,一般抓取异常这块是真蜘蛛,抓取爬行有的URL,一般不会抓取虚假的,建议反馈获知答案。
这些无效的页面你要禁止抓取的,否则对网站不利
我的站用金花站长工具查看,404的页面也很多。
设置表达式 禁止抓取
禁止抓取才是王道
写个正则表达式,静止抓取这些页面
设置禁止抓取
找出这些页面产生的原因吧,蜘蛛能抓取,那肯定是你网站里有这个URL。
还有你的抓取异常的响应代码是500,500的意思是服务器错误。
做好404页面就可以了
让更多人参与回答