搜外网>搜外问答>问答页面

百度这种蜘蛛是什么蜘蛛

baiduboxapp
非常奇怪,百度这个蜘蛛几乎每分钟抓一次首页,其他页面不爬,这是什么蜘蛛,通过百度app访问会有这个蜘蛛来路,问题是网站是新建的,根本就没用户,而且只抓首页!

追加问题
    3 人参与回答

查询日志看一看被

多抓取是好事情的

蜘蛛只是一种形象的叫法,实际上就是采集内容的程序,像蜘蛛一样在互联网里面爬来爬去。所以就直接叫蜘蛛了。