今天看了日志,有几个问题请教一下搜外大神,路过的大神指点指点迷津吧!
www.wsf1234.com非图片站的蜘蛛抓取图片频率过高,该不该改善这个问题?应该改善又该如何改善?需要在robots协议上做什么调整?
蜘蛛抓取后真实访问率46%算什么水平,过高或过低?,除了布局更优质的外链和友链,还有什么优化手法?
目录抓取列表中有很多baidu蜘蛛去抓不存在的目录,如何判断真伪蜘蛛?
www.wsf1234.com非图片站的蜘蛛抓取图片频率过高,该不该改善这个问题?应该改善又该如何改善?需要在robots协议上做什么调整?
蜘蛛抓取后真实访问率46%算什么水平,过高或过低?,除了布局更优质的外链和友链,还有什么优化手法?
目录抓取列表中有很多baidu蜘蛛去抓不存在的目录,如何判断真伪蜘蛛?