搜外网>搜外问答>问答页面

robots文件里已经禁止了，但是蜘蛛还是去抓，而且还是404

微信

<p>比如这个templets文件夹我已经禁止了，但是查看网站日志，发现蜘蛛还是去抓了，而且还是提示404</p><p>这是咋回事?</p><p>难道说robots文件没用吗？</p><p><br></p>

Robots 404

本帖由用户发布，如有侵权联系删除 2019-10-16 发布1,258 次浏览

举报

交换友情链接，就用搜外友链，方便！

3 人参与回答

用户156239 · 多特蒙德吧，多特蒙德足球俱乐部，不一样的多特大黄蜂！

应该抓一段时间就不会再爬了

用户129059 · 二营长建站优化wanhao_ya

还是看蜘蛛心情

用户152512 · 谷歌海外推推广

Robots文件不是绝对禁止不抓取和抓取的，它只是告诉搜索引擎你不想抓取的目录，关键还是看它自己要不要抓取。