搜外网>搜外问答>问答页面

robots对网站有什么用？

微信

robots在网站中有什么作用

Robots

本帖由用户发布，如有侵权联系删除 2019-05-22 发布2,606 次浏览

交换友情链接，就用搜外友链，方便！

10 人参与回答

最佳回答

用户4701 · 网站建设/仿站、美团点评运营、云服务器、DIY小程序、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

Robots.txt文件是网站与搜索引擎蜘蛛爬虫之间的一份协议，用txt文本格式告诉蜘蛛爬虫网站有哪些页面可以被抓取，哪些页面不可以抓取的权限。

正常搜索引擎访问一个站点的时候，首先会先看站点有没有robots.txt文件，如果没有则蜘蛛爬虫会抓取网站上的所有数据；如果有蜘蛛爬虫会根据robots.txt文件内容来确定自己能够抓取访问的文件有哪些。

如果运用好robots.txt文件对于SEO优化来说也是作用挺大的。

用户145580 · 10年网络营销老兵，擅长软文推广

爬行啊

用户129660

Robots协议就是爬虫协议，告诉搜索引擎哪些是能够抓取的，哪些不能抓取的

用户142546

跟蜘蛛的一个协议告诉蜘蛛该抓去哪些不该抓取哪些

用户136240 · Google SEO，外贸企业的必备增长引擎，微信：15877068041

这个叫蜘蛛协议，可以规定蜘蛛访问你站点的哪些页面

用户137338

告诉蜘蛛哪些内容可以爬取，哪些不能爬取

用户119913

robots文件是百度蜘蛛进来抓取的第一个文件在这里知道可以抓取哪些文件那个文件不可以抓取

蜘蛛进来第一个抓取的就是Robots（还是Sitemap忘了），如果不做robots，蜘蛛会抓取很多后台数据，甚至后台路径，之前有个站没做robots，然后收录了后台路径

用户144160

相当于告诉爬虫：该网站哪些内容可以抓爬，哪些内容不可以抓爬

用户130082 · 珠宝首饰加工、镶嵌、定制，象虎狼牙镶嵌，玉手镯修复。QQ858600856

通俗一点讲：Robots是爬虫抓取，蜘蛛不抓取何来的收录，不收录何来的排名，懂？