搜外网>搜外问答>问答页面

robots对网站有什么用？

微信

robots在网站中有什么作用

追加问题
Robots 举报 本帖由用户发布，如有侵权联系删除  2019-05-22 发布2,186 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    10 人参与回答
最佳回答
武荣网络
武荣网络 · 网站建设/仿站、美团点评运营、云服务器、DIY小程序、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

Robots.txt文件是网站与搜索引擎蜘蛛爬虫之间的一份协议，用txt文本格式告诉蜘蛛爬虫网站有哪些页面可以被抓取，哪些页面不可以抓取的权限。

正常搜索引擎访问一个站点的时候，首先会先看站点有没有robots.txt文件，如果没有则蜘蛛爬虫会抓取网站上的所有数据；如果有蜘蛛爬虫会根据robots.txt文件内容来确定自己能够抓取访问的文件有哪些。

如果运用好robots.txt文件对于SEO优化来说也是作用挺大的。

4 年前
IP属地：福建
赞同 0 评论 0
收藏 举报
评论取消
观沧海
观沧海 · 10年网络营销老兵，擅长软文推广

爬行 啊

4 年前
IP属地：辽宁
赞同 0 评论 0
收藏 举报
评论取消
昔年
昔年

Robots协议就是爬虫协议，告诉搜索引擎哪些是能够抓取的，哪些不能抓取的

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
-
-

跟蜘蛛的一个协议 告诉蜘蛛该抓去哪些 不该抓取哪些

4 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
蘋果與蛇
蘋果與蛇 · Google SEO，外贸企业的必备增长引擎，微信：15877068041

这个叫蜘蛛协议，可以规定蜘蛛访问你站点的哪些页面

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
路过蜻蜓
路过蜻蜓

告诉蜘蛛哪些内容可以爬取，哪些不能爬取

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
Blank 。
Blank

robots文件 是百度蜘蛛进来 抓取的第一个文件  在这里知道可以抓取哪些文件 那个文件不可以抓取

4 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消

匿名用户

蜘蛛进来第一个抓取的就是Robots（还是Sitemap忘了），如果不做robots，蜘蛛会抓取很多后台数据，甚至后台路径，之前有个站没做robots，然后收录了后台路径

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
极限森林
极限森林

相当于告诉爬虫：该网站哪些内容可以抓爬，哪些内容不可以抓爬

4 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
泰山珠宝镶嵌
泰山珠宝镶 · 珠宝首饰加工、镶嵌、定制，象虎狼牙镶嵌，玉手镯修复。QQ858600856

通俗一点讲：Robots是爬虫抓取，蜘蛛不抓取何来的收录，不收录何来的排名，懂？

4 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 怎么做好长尾关键词
  • 内部链接是什么意思？
  • 什么是外部链接？
  • 网站首选域设置是什么意思？
  • 网站Flash是什么意思？
  • 新网站在搜狗上做了推广，对百度上的排名会有影响吗？？
  • 现在怎么好多查询百度收录的软件，网站都不准啊
  • 网站怎么选择关键词
  • 网站就一个单页，只能多发点外链了
  • 网站被惩罚了怎么办？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司