网站改版,千万级页面被删,日志分析爬虫每天有40%死链的抓取,做死链提交?还是302? 推荐热议
网站进行改版,内容需要审核重新上线,量级达到千万级别,目前前端已无死链,日志分析,百度爬虫抓取死链占爬虫每天抓取的40%,如果考虑每天分析日志,提交死链,效率太低,规则提交不能实现(同一目录下:有死链+正常页面),长时间周期的死链抓取,降低了网站的综合评分,降低了爬虫的友好度,大家有什么建议呢?
是考虑继续每天整理提交死链呢?还是考虑做302临时跳转呢?临时跳转也是搜索引擎很不喜欢的,会被搜索引擎继续索引。
千万级页面,会在一定周期内进行恢复上线,但会删除一部分。
21 人参与回答
用死链工具检测,批量添加,提交等待删除即可
302不靠谱
提交死链吧。不要弄302,弄这个还不如去做内容填充。