求助,关于robots.txt的写法?(在线等,希望尽最快的速度得到一个满意的答案,拜托各位了)

上图,这是我在本地搭建的一个网站!明天打算上线,但是我不想让蜘蛛抓取我网站的产品内容,该怎样写?刚刚有了解过robots的写法,貌似都是通过禁止目录的方式然后禁止搜索引擎抓取网站某个内容,但我现在这个站的产品都是通过文件来控制的!

01


02

关注 收藏
最佳回答
邢老六 · 我的小站,www.taomai360.com,喜欢的可以来看看噢

很简单啊,你的根网址底下

User-agent: *

Disallow: /wp-content/themes/category-1.php

Disallow: /wp-content/themes/category-2.php

Disallow: /wp-content/themes/category-3.php

Disallow: /wp-content/themes/category-4.php

·······

·······

·······

Disallow: /wp-content/themes/category-11.php

还有个问题,从你的目录来看,你这个是你网站的模板目录,如果你做静态页面处理的话,按道理,模板目录所有都不让搜索引擎抓取的

一般情况下,WordPress的这个themes底下是全部不让抓取的,就像下面这样写。

Disallow: /wp-content/themes/

云水漂 等 1 人赞同该回答

Disallow: /wp-content/themes/category-*.php(因为你以后可能会有新的产品,一个一个的列出来太麻烦了category-*.php,直接用*号代表以后所有的category-xxx.php文件都不抓取即可)此答案引用2楼

李严肃 · 一本正经的胡说八道,吊儿郎当的有理有据。

禁止掉产品内容的文件路径和目录就可以了

思享 · 思享SEO 提供低成本SEO基础知识解答

你要明白那是php执行后生成的html网页,网页是什么路径就禁什么路径呗(是网页,不是php路径)

如果在一个目录下,就禁掉这个目录呗,怎么写你看过文档的就不多说了

或者,你看你文件都分离出来了  直接加<meta name="robots" content="nofollow" />。更简单

可以的看看

 www.gpamy.com 


云水漂 · 此刻,让自己变得简单!

@undefined,谢谢