网站蜘蛛是正常来爬取页面,每次爬取的是重复的页面,重复的页面反复爬取,其它页面根本没有爬取了,这是什么原因导致的蜘蛛爬取不正常?怎么引导蜘蛛爬取页面,大家遇到过蜘蛛爬取重复页面吗?
是不是内容伪原创导致蜘蛛反复核实?
让更多人参与回答