哪些问题导致蜘蛛不抓取页面？

网站蜘蛛不被抓取页面，爬取的都是重复页面，很多根本没有被收录，数据统计的也都不太准确，这个蜘蛛不来了就是来也抓取重复的页面，这种情况如何处理？感谢高手解答！