网站怎么禁止蜘蛛反复的爬取页面重复，每次爬取的都是重复的页面，多次爬取怎么禁止，如何引导蜘蛛爬取页面正常，有什么好的办法可以让蜘蛛爬取正常？除了发链接，还能做什么有利于的？
不要蜘蛛爬取那么多，那就弄个roboits协议就完事了呗、；
让更多人参与回答
