百度蜘蛛爬取了大量不存在的404页面这么回事? 悬赏1元 已结束
<p>在没屏蔽ip之前有是超大量近乎10万+的虚假404页面和境外ip被百度蜘蛛（真假都有）抓取，屏蔽假蜘蛛ip后数量减少了，被屏蔽的假蜘蛛访问ip是已经看不到了，但还是每天有500+的虚假404页面被真实蜘蛛抓取，这个怎么办？</p><p><br></p>
20 人参与回答
最佳回答
加载更多
死链没清吧
看一下日志呗
同一个IP只抓不存在的目录和页面，那大概率就是假蜘蛛，
服务器压力不大就无所谓，服务器压力大的话还是屏蔽一下假蜘蛛的IP段吧
这个是真的不，要先确定蜘蛛
站长投诉试试看
谷歌确实公平的多，不像百度这么黑
屏蔽抓取就好了嘛
这个不错哦
建议去反馈一下。
站长投诉吧
