robots网站协议分析
最近发现网站的的收录问题非常的大,就是以前没有设置好抓取协议,我们具体看下那些问题:
- 抓取后台
- 抓取网站日期归纳页面集合
- 抓取动态搜索页面
日期
结局的方法超级简单,写一个robots协议规则就好啦,以前我写过一些robots规则,可以去看一下。
错误抓取带来的负面影响
- 网站数据丢失
- 网站后台被展示,
- 同关键词,形成内部竞争
协议规则的写法:
User-agent: * Disallow: Disallow: /data/ Disallow: /wp-admin/ Disallow: /*?*
总结
每个网站的数据保护都是不一样的,所以做法都是不同,在设置的上面一定要注意这个写法的正确与否,要不给网站带来的损失会非常的大,搜索引擎的蜘蛛会按照你写的规则抓取相应的界面,但是是你自己随意修改,同时修改的阶段太多,将会给你带来非常大的问题,蜘蛛会感觉你的网站不够靠谱,会选择性质的抓取,或者直接的放弃抓取。
文章来源于互联网,如有雷同请联系站长删除:robots网站协议分析
本篇文章来源于
http://www.chunxiangseo.com/youhua/1530.html 版权均归站长本人所有,如有侵权,请联系seowhy2018删除。
0 人参与评论
该文章尚未收到评论 :(
提交评论禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法