关于robots代码问题
<p>想要禁止蜘蛛抓取/user下的所有页面 </p><p>不知道这样写是否正确呢</p><p>但是提交给百度总是提示请求失败</p><p></p>
1 人参与回答
最好不要禁止蜘蛛爬取。推荐用栈谷统计实时抓取蜘蛛，看下蜘蛛访问量对服务器的压力，再做决定。
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
