百度蜘蛛抓取页面都是重复的页面怎么处理？
网站蜘蛛正常来爬取网页，每次爬取的多数是重复的蜘蛛，怎么引导蜘蛛不要爬取重复的页面，有什么方法可以引导蜘蛛，不要乱爬没有用的？我怎么让网站蜘蛛爬取正常？多谢各位大神指点。
相关问题
- 百度蜘蛛只抓取网站首页 不抓内页是什么原因？(1 个回答)
- 百度蜘蛛不来网站怎么提高浏览量？(2 个回答)
- 如何利用百度蜘蛛的来路IP来判断网站的权重？(1 个回答)
- 百度蜘蛛抓取量为什么越来越少？(4 个回答)
- 百度蜘蛛一天来你网站多少次才算不错？(8 个回答)
- 百度蜘蛛长时间都没有来网站有哪些引导？(3 个回答)
- 经过一个半月的努力，百度蜘蛛终于每天都过来了，但内页还没有收录不知道为什么(4 个回答)
- 我想问一下百度蜘蛛是怎样的抓取规律？(2 个回答)
