网站平时蜘蛛爬取是正常的，查看日志问题不大，就是最近发现蜘蛛的爬取页面都是重复的页面，重复的爬取次数多了对网站不好，我怎么才能让网站蜘蛛爬取正常页面？
重复抓取是很正常的，不用管。
抓取重复的是很正常的
正常现象
让更多人参与回答
