搜外网>搜外问答>问答页面

网站后台文件需要限制蜘蛛抓取吗

每天查看日志发现抓取了很多后台文件,有的文件还是死链  需要限制吗?有的文件也添加到robots文件里的,但还是能抓取是什么缘故呢?

追加问题
    7 人参与回答

需要的,多发外链吸引蜘蛛

几何城市
几何城市 · 城市家具·城市街具·公共艺术·创意·设计·生产制造全产业链。

肯定要限制的

素材网
素材网 · 素材网,网站模板,网站素材,视频教程,sucaipro。com

多发外链吸引蜘蛛

三九问答
三九问答 · 一个有问答就会有答案的网站

不需要,后台文件抓取干什么?

基本上都是有限制的

国威网
国威网 · 12306网址导航-丰富我的上网生活

肯定要限制的

木笙
木笙 · 职校招生咨询 职校招生动态 职校招生资料

后台哪些文件需要限制蜘蛛抓取

SEO培训招生中
175