现在日志出现了大量的:116.179.33 .* 220.181.51.* 这两个蜘蛛不知道干啥的
然后搜索查询了下220.181.51.*这个是百度收藏蜘蛛,不知道有啥用,有没有大佬遇到过这玩意的
正常爬行,。
都属于百度蜘蛛经常爬取网页的IP范畴。
都属于百度蜘蛛经常爬取网页的IP范畴
只要是百度的那就是可以的
开头的是百度蜘蛛,别挑三拣四了,有就可以了
都是百度蜘蛛精彩爬取页面的ip段,有来访是好现象
同意楼上的说法
抓取频次有频次,真的蜘蛛抓取的也是页面URL,那么可以观察百度索引更新,看看是否索引提升,收录增长
有可能是假蜘蛛、一般蜘蛛都是深夜爬行的
匿名用户
1、有站长分享过,这个也是百度蜘蛛经常抓取爬行收录网页的ip段,主要抓取爬行和判断是否收录页面;
2、抓取频次有频次,真的蜘蛛抓取的也是页面URL,那么可以观察百度索引更新,看看是否索引提升,收录增长。
等等看,看看后面会不会收录你的页面,这2个ip是管爬行和收录的吧
让更多人参与回答