关于robots文件禁止问题 悬赏1元 已结束

如何robots文件禁止

Disallow: http://www.aiaitiee.com/news/

那么请问     搜索引擎会不会抓取   http://www.aiaitiee.com/news/133.html   页面吗?


追加问题
分享到微信 收藏
    6 人参与回答
艾艾贴代理 等 1 人赞同该回答

如果 Disallow: /news/123.html这样写的话。  只是禁止抓取这个页面  

 /news/111.html 还会抓取

Disallow: /news/   这样就是news目录下页面都不会抓取

如果还有问题  可以去百度站长后台检测自己写的对不对

白帽站长 · 丰富的seo理论+强悍的实战经验+每天学习+良好的执行力

Disallow: /news/

直接把整个新闻页面直接屏蔽掉

李嘉鑫 · SEO接单 联系QQ916830055

不会 建议写Disallow: /news/ 

小雪seo · 我10年底入行做的seo,现在一直在坚持着,擅长给网站看病和写seo方案。

Disallow: http://www.aiaitiee.com/news/

Disallow: http://www.aiaitiee.com/news/   相当于或者说正确的写法为:Disallow :/news/      意为将整个nesw目录下的所有文件全部屏蔽不让抓取,所以你的这个写法所有的新闻页面都不会被抓取,包括新闻列表页。

如果写成:Disallow :/news   这样的写法就是只屏蔽了这一个页面,而不是整个目录

奇百态网
奇百态网 · 世界奇闻趣事怪事_未解之谜_世界之最_灵异恐怖_UFO外星人

不会被抓取的。Robots文件的正确写下是Disallow: http://www.aiaitiee.com/news/。这里第一个字母必须大写,冒号必须是英文状态下的冒号,冒号后面有一个空格,也是英文状态下的。

如果你这样写了,只要包含http://www.aiaitiee.com/news/的链接都不会抓取,比如说

http://www.aiaitiee.com/news/2.html;

http://www.aiaitiee.com/news/3.html;

http://www.aiaitiee.com/news/4.html;

http://www.aiaitiee.com/news/N.html等这些都不会被抓取

1 个不友善的回答被折叠