搜外网>搜外问答>问答页面

蜘蛛爬取页面死链接怎么处理对?

网站每次更新没有隔断开,可是网站的蜘蛛爬取页面总是重复的,也有死链接被爬取了,怎么才能停止爬取重复的页面,还有把死链接取消了,我需要怎么做可以?如何把死链接处理掉,能彻底清除干净?感谢回答问题的大佬们

追加问题
    7 人参与回答
利美医疗
利美医疗 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

死链接做成文件然后提交百度。

站长提交一下死链试试

胡汉三
胡汉三 · 上海沈泉泵阀公司

提交处理啊,然后等待更新

问题不大,站长提交一下就可以了

屎上最无聊的乚
屎上最无聊 · 喜欢网络技术、喜欢搜索引擎优化

不用管·,过段时间就不抓了,或者直接去站长提交

死链的话,应该可以在站长提交一下,其他问题就不清楚了