robots网站协议分析

作者: 匿名用户
时间:2021-01-06
浏览:30

robots网站协议分析

最近发现网站的的收录问题非常的大,就是以前没有设置好抓取协议,我们具体看下那些问题:

  1. 抓取后台
  2. 抓取网站日期归纳页面集合
  3. 抓取动态搜索页面

日期

结局的方法超级简单,写一个robots协议规则就好啦,以前我写过一些robots规则,可以去看一下。

错误抓取带来的负面影响

  1. 网站数据丢失
  2. 网站后台被展示,
  3. 同关键词,形成内部竞争

协议规则的写法:

User-agent: *
Disallow: 
Disallow: /data/
Disallow: /wp-admin/
Disallow: /*?*

总结

每个网站的数据保护都是不一样的,所以做法都是不同,在设置的上面一定要注意这个写法的正确与否,要不给网站带来的损失会非常的大,搜索引擎的蜘蛛会按照你写的规则抓取相应的界面,但是是你自己随意修改,同时修改的阶段太多,将会给你带来非常大的问题,蜘蛛会感觉你的网站不够靠谱,会选择性质的抓取,或者直接的放弃抓取。

 

分享到:
赞(0)

文章来源于互联网,如有雷同请联系站长删除:robots网站协议分析

本文原文地址:http://www.chunxiangseo.com/youhua/1530.html

本篇文章来源于 http://www.chunxiangseo.com/youhua/1530.html 版权均归站长本人所有,如有侵权,请联系seowhy2018删除。
    0 人参与评论
该文章尚未收到评论 :(
提交评论禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法