百度一直抓取已经删除的链接,如何减少抓取这样的链接?
百度一直抓取已经删除的链接,抓取404链接的占比已经是200链接的好几倍了,如何减少抓取这样的链接?在网站内链和网站地图已经剔除了这些链接,只有百度在疯狂的抓取,其它搜索引擎都不会大量抓取已经删除的链接。
由于url规则因素无法通过robots文件屏蔽掉。
3 人参与回答
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭