如何正确写Robots.txt

作者: 张俊SEO
时间:2021-02-03
浏览:41

        User-agent: *
Allow: .htm$
Disallow: /
注意:意思是仅允许访问以”.htm”为后缀的URL

7.禁止访问网站中所有的动态页面

User-agent: *
Disallow: /*?*

8.禁止搜索引擎F抓取网站上所有图片

User-agent: F
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
注意:意思是只允许引擎抓取网页,禁止抓取任何图片(严格来说是禁止抓取jpg、jpeg、gif、png、bmp格式的图片)

9.只允许搜索引擎E抓取网页和.gif格式图片

User-agent: E
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
注意:意思是只允许抓取网页和gif格式图片,不允许抓取其他格式图片

不过,现在很多技术解决的去硬写这些文件,因为有了很多可以走动生成robots.txt文件的软件。那么我给大家介绍一下这几款可以自动生成robots.txt的软件。但是,我觉得还是手写比较好。

1.站长工具里面有一个可以自动生成robots文件,http://tool.chinaz.com/robots/

2.http://www.atool.org/robots.txt.php

3.那么就是金花站长。我主要使用这几款。但是现在都是自己写。主要对于不懂得同学。希望对你们有帮助谢谢。

本文原文地址:https://zhangjunseo.com/76.html

本篇文章来源于 https://zhangjunseo.com/76.html 版权均归站长本人所有,如有侵权,请联系seowhy2018删除。
    0 人参与评论
该文章尚未收到评论 :(
提交评论禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法