网站蜘蛛抓取重复页面多次怎么解决?
网站的蜘蛛是每天都来爬取,爬取次数是正常的唯一是抓取的页面都是重复的,怎么才能让蜘蛛不要重复的爬取页面链接?蜘蛛为什么光爬取重复的页面,其它无爬取情况?
4 人参与回答
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭