baiduboxapp非常奇怪,百度这个蜘蛛几乎每分钟抓一次首页,其他页面不爬,这是什么蜘蛛,通过百度app访问会有这个蜘蛛来路,问题是网站是新建的,根本就没用户,而且只抓首页!
查询日志看一看被
多抓取是好事情的
蜘蛛只是一种形象的叫法,实际上就是采集内容的程序,像蜘蛛一样在互联网里面爬来爬去。所以就直接叫蜘蛛了。
让更多人参与回答