搜外网>搜外问答>问答页面

今天看了日志,有几个问题请教一下搜外大神,路过的大神指点指点迷津吧!

www.wsf1234.com非图片站的蜘蛛抓取图片频率过高,该不该改善这个问题?应该改善又该如何改善?需要在robots协议上做什么调整?

蜘蛛抓取后真实访问率46%算什么水平,过高或过低?,除了布局更优质的外链和友链,还有什么优化手法?
目录抓取列表中有很多baidu蜘蛛去抓不存在的目录,如何判断真伪蜘蛛?

追加问题
    3 人参与回答

不想抓取图片,那就直接把图片那个目录屏蔽掉,不存在的目录要直接屏蔽掉就好

未雨绸缪
未雨绸缪 · 第三方检测机构信息分享

我也是这样的问题,一直没关心过,借此宝地也看看大神们什么观点