最近蜘蛛反复爬取重复的页面，多次爬取重复的页面，其它页面没有爬取情况，如何指定页面让蜘蛛爬取，不要继续重复爬取页面，这样有没有办法可以解决？
在那个页面上做一些其它页面的锚文本链接，比如猜你喜欢，相关文章，推荐文章，热门文章，比如之前默认是10篇的，现在设置成50-100篇，放在那里让蜘蛛爬。
不用管它，我的也是这样的情况，可能是过渡阶段，我的一开始只爬取首页， 后来就慢慢只爬取栏目页，中途也会爬取文章页，我感觉这是一个过渡阶段吧
蜘蛛你没法控制的，你可以用其他页面去引蜘蛛就好了
让更多人参与回答
