Robots.txt 我写对了吗？ 悬赏1元 已结束
<p>最近用wordpress做了个网站 ，发现搜索引擎乱抓站内URL 莫名其妙不知道什么原因，多次处理无果，于是乎想用robots.txt文件来限制掉，搜索引擎抓取所有东西，只让搜索引擎抓取 首页 目录及文章页面</p><p><br></p><p>robots文件可设置成这样子吗？<br></p><p><br></p>
16 人参与回答
最佳回答
正解~...
linux系统默认根目录是【/】这样会把整站屏蔽，不清楚你网站啥程序建的，所以不好判定但是不标准是真的了
有啥用啊
应该是没问题的
个人觉得先把网站不需要蜘蛛抓取的先写出来吧，比如：
User-agent: *
Disallow: /mulu/
不要这样写，会导致整站被禁止的，可采取宽抓严禁的方法
应该是没问题的
应该没问题
User-agent: *
Allow: /
Disallow: /xxx/
Disallow: /xxx/
这样的
你这后面带不带*都没啥区别吧？
都是整站屏蔽
