百度蜘蛛爬行不存在的路径?
不管他,能爬取到正常的就可以了
匿名用户
Baiduspider 只抓取能从互联网上找到的url,如果Baiduspider大量抓取你网站上不存在的url,可能有两个原因:
1、你网站 内有部分网页指向其他网页的url格式不正确。
2、互联网上有其他网站指向了你网站内不存在的网页。
另外,Baiduspider抓取到不存在的网页,服 务器应该返回404错误。
让更多人参与回答