每天查看日志发现抓取了很多后台文件，有的文件还是死链 需要限制吗？有的文件也添加到robots文件里的，但还是能抓取是什么缘故呢？
需要的，多发外链吸引蜘蛛
肯定要限制的
多发外链吸引蜘蛛
不需要，后台文件抓取干什么？
基本上都是有限制的
后台哪些文件需要限制蜘蛛抓取
让更多人参与回答
