关于robots文件禁止问题 悬赏1元 已结束

如何robots文件禁止

Disallow: http://www.aiaitiee.com/news/

那么请问     搜索引擎会不会抓取   http://www.aiaitiee.com/news/133.html   页面吗?


追加问题
分享到微信 收藏
    6 人参与回答
艾艾贴代理 等 1 人赞同该回答

如果 Disallow: /news/123.html这样写的话。  只是禁止抓取这个页面  

 /news/111.html 还会抓取

Disallow: /news/   这样就是news目录下页面都不会抓取

如果还有问题  可以去百度站长后台检测自己写的对不对

白帽站长
白帽站长 · 常州SEO工程师,精通企业网站优化,帮助企业网站推广与营销,提升企业的销售业绩。

Disallow: /news/

直接把整个新闻页面直接屏蔽掉

七优 · SEO服务

不会 建议写Disallow: /news/ 

小雪seo · 我10年底入行做的seo,现在一直在坚持着,擅长给网站看病和写seo方案。

Disallow: http://www.aiaitiee.com/news/

Disallow: http://www.aiaitiee.com/news/   相当于或者说正确的写法为:Disallow :/news/      意为将整个nesw目录下的所有文件全部屏蔽不让抓取,所以你的这个写法所有的新闻页面都不会被抓取,包括新闻列表页。

如果写成:Disallow :/news   这样的写法就是只屏蔽了这一个页面,而不是整个目录

纹身图库
纹身图库 · www.wsjpg.com

不会被抓取的。Robots文件的正确写下是Disallow: http://www.aiaitiee.com/news/。这里第一个字母必须大写,冒号必须是英文状态下的冒号,冒号后面有一个空格,也是英文状态下的。

如果你这样写了,只要包含http://www.aiaitiee.com/news/的链接都不会抓取,比如说

http://www.aiaitiee.com/news/2.html;

http://www.aiaitiee.com/news/3.html;

http://www.aiaitiee.com/news/4.html;

http://www.aiaitiee.com/news/N.html等这些都不会被抓取

1 个不友善的回答被折叠