蜘蛛每天来网站次数挺多，就是每次爬取重复的页面，不抓取新页面，怎么让蜘蛛不要爬取重复的页面，指定的页面让蜘蛛爬取，我应该怎么做？给点建议吧！谢谢啦！！！
这个需要看网站的结构，网站没必要禁止蜘蛛抓老的页面，非要禁止的话就写Robots，让蜘蛛爬新页面无非就是锚文本，链接提交，引蜘蛛了。还有主要看网站结构怎样。
我都不知道在哪里查询蜘蛛的抓取记录
外链难做的
留通道引蜘蛛
让更多人参与回答
