robots文件里已经禁止了,但是蜘蛛还是去抓,而且还是404
<p>比如这个templets文件夹我已经禁止了,但是查看网站日志,发现蜘蛛还是去抓了,而且还是提示404</p><p>这是咋回事?</p><p>难道说robots文件没用吗?</p><p><br></p>
3 人参与回答
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭