10 人参与回答
爬行指的是搜索引擎蜘蛛从已知页面上解析出链接偏向的URL,随后顺着链接发觉新页面(也就是说链接偏向的URL)的过程。这样的话,蛛蛛并非发觉新URL马上就爬过去抓取新页面,只是把发觉的URL储放到待抓地址库中,蜘蛛依照必须次序从详细地址库中获取要爬取的URL。
搜索引擎的蜘蛛其实就是一个程序,用来爬行互联网更新的内容。然后抓取到自己的数据库,蜘蛛爬行是个很d形象的名字,就好像蜘蛛猎食是一样的。
原理:
1、爬行习惯,从一个链接访问,到所有很多人认为的是搜索引擎的爬行,是越靠近左上角的链接权重越高。其实这个也有一定的误区,链接越靠前也算是蜘蛛越容易爬行,这是对的,但是在与网站的管理网站的分布,布局来说很多方面上没有做到这一点;
2、一般来说,在搜索引擎蜘蛛进入网站时候,首先是对内部连接纵向抓取,其次是对外部横向抓取,也就是说搜索引擎蜘蛛抓取页面是纵向原则和横向原则想结合的。但无论是纵向抓取还是横向抓取,只要网站是和蜘蛛的爬行和胃口,蜘蛛就能将您的网站所有网页爬完。
百度见解!
蜘蛛爬取,个人理解:百度的程序来抓取站长的网页
自己研究就行
这个三言两语不一定说的清楚,百度搜索一下。