搜外网>搜外问答>问答页面

robots对网站有什么用？

微信

robots在网站中有什么作用

Robots 举报 本帖由用户发布，如有侵权联系删除 2019-05-22 发布2,364 次浏览

10 人参与回答

最佳回答

武荣网络 · 网站建设/仿站、美团点评运营、云服务器、DIY小程序、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

Robots.txt文件是网站与搜索引擎蜘蛛爬虫之间的一份协议，用txt文本格式告诉蜘蛛爬虫网站有哪些页面可以被抓取，哪些页面不可以抓取的权限。

正常搜索引擎访问一个站点的时候，首先会先看站点有没有robots.txt文件，如果没有则蜘蛛爬虫会抓取网站上的所有数据；如果有蜘蛛爬虫会根据robots.txt文件内容来确定自己能够抓取访问的文件有哪些。

如果运用好robots.txt文件对于SEO优化来说也是作用挺大的。

观沧海 · 10年网络营销老兵，擅长软文推广

爬行啊

昔年

Robots协议就是爬虫协议，告诉搜索引擎哪些是能够抓取的，哪些不能抓取的

跟蜘蛛的一个协议告诉蜘蛛该抓去哪些不该抓取哪些

蘋果與蛇 · Google SEO，外贸企业的必备增长引擎，微信：15877068041

这个叫蜘蛛协议，可以规定蜘蛛访问你站点的哪些页面

路过蜻蜓

告诉蜘蛛哪些内容可以爬取，哪些不能爬取

Blank

robots文件是百度蜘蛛进来抓取的第一个文件在这里知道可以抓取哪些文件那个文件不可以抓取

蜘蛛进来第一个抓取的就是Robots（还是Sitemap忘了），如果不做robots，蜘蛛会抓取很多后台数据，甚至后台路径，之前有个站没做robots，然后收录了后台路径

极限森林

相当于告诉爬虫：该网站哪些内容可以抓爬，哪些内容不可以抓爬

泰山珠宝镶 · 珠宝首饰加工、镶嵌、定制，象虎狼牙镶嵌，玉手镯修复。QQ858600856

通俗一点讲：Robots是爬虫抓取，蜘蛛不抓取何来的收录，不收录何来的排名，懂？