搜外网>搜外问答>问答页面

是不是该把这些蜘蛛给禁了????

<p>都成蜘蛛的乐园了,每天以bing 为首的蜘蛛,还有很多不知名的蜘蛛,来得那个勤快,有的一秒要访问三四次。</p><p>bing 蜘蛛来了,但不收录。。。。</p><p><br></p>

追加问题
    3 人参与回答
起风了 等 1 人赞同该回答

先检查下是真蜘蛛还是假蜘蛛,如果是假的,直接屏蔽。如果是真的根据你自己的业务来,可以直接在Robots里面屏蔽某个搜索引擎的抓取,一劳永逸。

daniel
danie · 乐行川藏网是一家专业提供精品川藏线拼车包车自驾游旅游的服务商,从出发到终点,为您的川藏线旅游提供全方位专业服务!川藏

有蜘蛛抓不是很好吗? 楼主是想节省成本还是其他啥?

如果是真蜘蛛,看是否影响到网站的正常访问,如果没有,那你就暂时先让它爬呗,观察一段时间。像这种集中的爬取,除非是采集的。不然真蜘蛛不会频繁这样,只是偶尔的发生的。

SEO培训招生中
188