蜘蛛爬取页面重复怎么解决?
网站蜘蛛爬取页面次数很多,但是没有被收录起来,多数爬取都是重复的,无用的爬取页面重复的,怎么才能让蜘蛛爬取正常?为什么蜘蛛一次次的爬取重复的页面,有什么解决的办法?
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭
网站蜘蛛爬取页面次数很多,但是没有被收录起来,多数爬取都是重复的,无用的爬取页面重复的,怎么才能让蜘蛛爬取正常?为什么蜘蛛一次次的爬取重复的页面,有什么解决的办法?