蜘蛛爬取页面死链接怎么处理对?
网站每次更新没有隔断开,可是网站的蜘蛛爬取页面总是重复的,也有死链接被爬取了,怎么才能停止爬取重复的页面,还有把死链接取消了,我需要怎么做可以?如何把死链接处理掉,能彻底清除干净?感谢回答问题的大佬们
7 人参与回答
网站每次更新没有隔断开,可是网站的蜘蛛爬取页面总是重复的,也有死链接被爬取了,怎么才能停止爬取重复的页面,还有把死链接取消了,我需要怎么做可以?如何把死链接处理掉,能彻底清除干净?感谢回答问题的大佬们