网站日志里有很多百度蜘蛛,我用工具查了下说又很多假百度蜘蛛,需要屏蔽爬取吗?
<p>网站日志里有很多百度蜘蛛,我用工具查了下说又很多假百度蜘蛛,需要屏蔽爬取吗?</p><p><br></p><p><br></p><p>还有很多那种以 +http://www.baidu.com/search/spider.html 结束的访问IP,需要屏蔽吗?有什么影响</p>
<p>网站日志里有很多百度蜘蛛,我用工具查了下说又很多假百度蜘蛛,需要屏蔽爬取吗?</p><p><br></p><p><br></p><p>还有很多那种以 +http://www.baidu.com/search/spider.html 结束的访问IP,需要屏蔽吗?有什么影响</p>