搜外网>搜外问答>问答页面

网站日志里有很多百度蜘蛛,我用工具查了下说又很多假百度蜘蛛,需要屏蔽爬取吗?

<p>网站日志里有很多百度蜘蛛,我用工具查了下说又很多假百度蜘蛛,需要屏蔽爬取吗?</p><p><br></p><p><br></p><p>还有很多那种以 +http://www.baidu.com/search/spider.html 结束的访问IP,需要屏蔽吗?有什么影响</p>

追加问题
    7 人参与回答
草坪护栏
草坪护栏 · 批发草坪护栏,锌钢护栏,道路护栏,铝艺护栏

屏蔽掉

九州互营
九州互营 · 百科创建 百科修改 问答营销 新闻营销 软文营销

屏蔽掉

梦梦
梦梦 · 泰海科技12年服务经验,专注于服务器租用

是不是类似那种采集程序

素材网
素材网 · 素材网,网站模板,网站素材,视频教程,sucaipro。com

是的,都要屏蔽掉,Robots里处理一下就可以

大刘信息
大刘信息 · 软件定制开发,app开发,微信小程序开发,微信公众号开发,网站制作,微信:dlxx886

用那个工具查询的,我今天看日志里面也有很多这样结尾的蜘蛛

屏蔽掉吧,可能是抓取你内容的