蜘蛛是经常来访问页面，每次访问量都是重复的内容，这样访问的没有什么作用，如何引导蜘蛛爬取页面正常，怎么才能让蜘蛛来网站爬取正常不要重复了，有什么解决办法？把网站蜘蛛的问题处理了？谢谢回答问题！
网站内链做好一点
我的也是的，一直在抓取同一个页面，好几天了
可以做个404，看看其他老板的回答
让更多人参与回答
