网站查看多次，蜘蛛反复无常的抓取页面重复，一次次的抓取就是重复页面很多，导致抓取也没有多大用，怎么才能合理的让蜘蛛不要抓取页面重复，有办法禁止蜘蛛，让蜘蛛合理爬取吗？
你可以Robots写下
Robots屏蔽页面抓取
可以利用Robots来屏蔽此页面阻止蜘蛛来抓取
屏蔽掉这个页面就好了
把这个页面屏蔽掉不就行了
如果你网站不想被搜索引擎收录可以再Robots中配置相应的蜘蛛禁止抓取，如果你想让他收录，就让他爬取，蜘蛛只有反复的抓取评估页面才有纪律收录，如果不抓取，你的页面基本上被收录的可能性很小，如果觉得这个链接没用，不需要蜘蛛抓取，可以将这条链接屏蔽掉，或者再robots中写明不抓取的链接，就不会抓取了
让更多人参与回答
