请问各位大神,这些个IP是百度蜘蛛吗? 还是伪蜘蛛? 悬赏3元 已结束
<p>请问各位大神,图上这些个IP是百度蜘蛛吗?为什么会爬取很多不存在的404页面?</p><p><br></p><p><br></p>
11 人参与回答
最佳回答
hd 等 1 人赞同该回答
这个不需要查都知道是蜘蛛,但是由于你的网站死链太多了,经常给蜘蛛爬的话对你的网站并不友好,你网站是真的很多死链?还是怎样?有死链的话就要提交去删了较好
死链应该做成文件提交给百度