网站反复蜘蛛抓取页面重复的太多，很多次数都是抓取重复的页面，怎么禁止蜘蛛抓取问题，为什么大量蜘蛛抓取页面重复的太多，有什么办法可以解决蜘蛛的问题？让蜘蛛爬取正常，我们需要怎么做呢？
通过Robots文件来把这个页面来屏蔽掉
最近都是这样，我也是无语了
让更多人参与回答
