<p></p><p>我的这个robots文件设置的有问题吗？蜘蛛一直不来抓取，语句没有禁止搜索引擎抓取吧？</p>
disallow是禁止蜘蛛爬取的，你这样设置是针对目录的，没问题。最好把Sitemap地址也加进去。
disallow是禁止蜘蛛爬取的
没有禁止蜘蛛抓取的，不过你下面两个disallow是啥意思
让更多人参与回答
