百度蜘蛛抓取页面重复太多怎么解决？
百度蜘蛛经常是来网站抓取页面，但是多数都是抓取重复的页面，为什么蜘蛛抓取页面重复，怎么解决蜘蛛抓取页面重复率太高了，引导蜘蛛抓取页面正常，怎么做可以解决？就是查询发现的，重复的抓取没有什么效果。
相关问题
- 百度蜘蛛只抓取网站首页 不抓内页是什么原因？(1 个回答)
- 百度蜘蛛不来网站怎么提高浏览量？(2 个回答)
- 如何利用百度蜘蛛的来路IP来判断网站的权重？(1 个回答)
- 百度蜘蛛抓取量为什么越来越少？(4 个回答)
- 百度蜘蛛一天来你网站多少次才算不错？(8 个回答)
- 百度蜘蛛长时间都没有来网站有哪些引导？(3 个回答)
- 经过一个半月的努力，百度蜘蛛终于每天都过来了，但内页还没有收录不知道为什么(4 个回答)
- 我想问一下百度蜘蛛是怎样的抓取规律？(2 个回答)
