搜外网>搜外问答>问答页面

Robots.tet文件这样上传不知道对不对，请大神指点一二

微信

robots.txt generated at http://tool.chinaz.com/robots/

User-agent: *
Disallow: User-agent: *
Disallow: Disallow: /bin/cgi/http://www.sjqxmpinbaoche.com/gywm这不想抓取的关于我们
Disallow: Disallow: /bin/cgi/http://www.sjqxmpinbaoche.com/lxwm这是不想抓取的联系我们
Disallow: Disallow: /bin/cgi/http://www.beian.miit.gov.cn/这是备案
Disallow: Disallow: /foo.htmlhttp://www.beian.gov.cn/portal/registerSystemInfo?recordcode=35058102000203也是备案

Robots 备案举报 本帖由用户发布，如有侵权联系删除 2020-03-23 发布958 次浏览

交换友情链接，就用搜外友链，方便！

7 人参与回答

勺形贾克斯

可以用站长工具来做的

倾城 · 个人站长，广告合作加how6626

这个一般是禁止不想被抓去的目录，如果你想禁止一个网页，那你可以用Nofollow

武荣网络 · 网站建设/仿站、美团点评运营、云服务器、DIY小程序、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

# Robots.txt generated at https://www。0595wr。cn/

User-agent: *

Disallow: /禁止搜索引擎抓取的目录名称1/

Disallow: /禁止搜索引擎抓取的目录名称2/

Disallow: /后台目录名称/

Disallow: /插件目录名称/