改版后死链接太多了,终于删除完了,但蜘蛛总是喜欢爬404页面,每天一百多个蜘蛛,大部分都在爬404页面,爬一个我禁一个,然后它又找其他404页面爬,我又禁, 我也是太无语了
死链太多就是麻烦
恭喜恭喜
改版就有动力继续干了
加油 加油
蜘蛛独爱404
厉害了
删除完就好,需要时间恢复
全部删完就好了
哈哈哈,改完后面就舒服了
今天爬member,template,data,我把这些都禁了 我想知道明天它又会怎么爬
让更多人参与回答