搜外网>搜外问答>问答页面

网站日志中百度蜘蛛抓取了很多不存在的页面，这是什么情况？

微信

网站日志百度蜘蛛举报 本帖由用户发布，如有侵权联系删除 2022-09-14 发布506 次浏览

3 人参与回答

Plum · 聚乙烯醇缩丁醛-天元化工网-小小站长,兢兢业业！

禁止下抓取，Robots禁止

去提交一下死链

微笑

404页面没有被禁掉或者是蜘蛛正在抓取也是正常的，去提交百度一下死链

收录宝