<p>网站蜘蛛来了,但是莫名其妙出现的死链爬取,这样的怎么处理?每天都是变着花样的死链</p><p><br></p><p><br></p>
你看看是不是老域名之前的链接
应该可以不用管,虚假蜘蛛生成的。
1、出现异常404,这些URL是你网站里面的死链吗,如果不是,那这种可能是虚假蜘蛛模拟; 2、百度站长里面有无大量抓取异常,一般真的有404,都会出现在百度站长里面抓取异常这里,无那么就没有问题,遇到死链被收录,做好404页面,和整理死链做死链提交删除。
我也有这个问题,我的网站不是wp的,可是一直在抓取wp的链接
让更多人参与回答