关于robots代码问题
<p>想要禁止蜘蛛抓取/user下的所有页面 </p><p>不知道这样写是否正确呢</p><p>但是提交给百度总是提示请求失败</p><p></p>
1 人参与回答
最好不要禁止蜘蛛爬取。推荐用栈谷统计实时抓取蜘蛛，看下蜘蛛访问量对服务器的压力，再做决定。
<p>想要禁止蜘蛛抓取/user下的所有页面 </p><p>不知道这样写是否正确呢</p><p>但是提交给百度总是提示请求失败</p><p></p>
最好不要禁止蜘蛛爬取。推荐用栈谷统计实时抓取蜘蛛，看下蜘蛛访问量对服务器的压力，再做决定。
