搜外网>搜外问答>问答页面

Robots.tet文件这样上传不知道对不对,请大神指点一二

robots.txt generated at http://tool.chinaz.com/robots/

User-agent: *
Disallow: User-agent: *
Disallow: Disallow: /bin/cgi/http://www.sjqxmpinbaoche.com/gywm这不想抓取的关于我们
Disallow: Disallow: /bin/cgi/http://www.sjqxmpinbaoche.com/lxwm这是不想抓取的联系我们
Disallow: Disallow: /bin/cgi/http://www.beian.miit.gov.cn/这是备案
Disallow: Disallow: /foo.htmlhttp://www.beian.gov.cn/portal/registerSystemInfo?recordcode=35058102000203也是备案
追加问题
    7 人参与回答

可以用站长工具来做的

倾城
倾城 · 个人站长,广告合作加how6626

这个一般是禁止不想被抓去的目录,如果你想禁止一个网页,那你可以用Nofollow

武荣网络
武荣网络 · 提供网站建设(仿站)、美团点评运营、云服务器、小程序制作、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

Robots.txt generated at https://www。0595wr。cn/ 

User-agent: *

Disallow: /禁止搜索引擎抓取的目录名称1/

Disallow: /禁止搜索引擎抓取的目录名称2/

Disallow: /后台目录名称/

Disallow: /插件目录名称/

一行为什么出现两次Disallow: 

kitwei503463
kitwe · 学习与帮助人家

就是没有源代码设计后台弄Nofollow才弄这个

直接Nofollow就好了。

SEO培训招生中
188