<p></p>
这个还真没注意过
官方文档有蜘蛛的列表介绍
新人都会注意这个问题,其实这些都是没用的工作,有哪些时间多写点内容吧
没注意看过,我去看看去
真没注意过啊
有专门判断真假蜘蛛的工具 一般真蜘蛛的ip段都是固定的 看到多了一眼就认出来了
百度蜘蛛一般是220开头,也有123的
1、真的蜘蛛只抓取爬行存在的页面,通过你的描述爬行的页面是不存在,那么可能是虚假的蜘蛛; 2、对比百度站长抓取频次量,可以去真假蜘蛛网站去检测下,大概看下,抓取不存在的URL,这类多数是假蜘蛛。
去蜘蛛判断的网站看看
这个还真不咋注意过呢
让更多人参与回答