百度蜘蛛抓取一些不存在的页面,有什么好的解决方法?
<p> 百度蜘蛛老是抓取一些不存在的页面,然后返回状态码是404,请问有什么解决方法呢?已经提交到死链了,但还是在抓取。<br></p><p>地址是:https://www.fenfaba.com</p><p><br></p>
<p> 百度蜘蛛老是抓取一些不存在的页面,然后返回状态码是404,请问有什么解决方法呢?已经提交到死链了,但还是在抓取。<br></p><p>地址是:https://www.fenfaba.com</p><p><br></p>