网站页面蜘蛛来爬取了，但是爬取的页面都是重复的，爬取重复的没啥用，有方法引导蜘蛛到其它页面爬取吗？蜘蛛反复无常，太奇怪了怎么办？
内链引导去爬别的内容页。
这没有关系 是真的还是假蜘蛛
不想让爬取的内容，可以将其链接放在Robots，不让其抓取
让更多人参与回答
