蜘蛛抓取重复的页面多次怎么解决?
网站平时蜘蛛爬取是正常的,查看日志问题不大,就是最近发现蜘蛛的爬取页面都是重复的页面,重复的爬取次数多了对网站不好,我怎么才能让网站蜘蛛爬取正常页面?
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭
网站平时蜘蛛爬取是正常的,查看日志问题不大,就是最近发现蜘蛛的爬取页面都是重复的页面,重复的爬取次数多了对网站不好,我怎么才能让网站蜘蛛爬取正常页面?