我屏蔽了,还是被抓取了重复页面,我怎么让蜘蛛不抓取重复页面?
它想干嘛干嘛
不用管它哦
不看蜘蛛
没啥影响,不用管他
我从来不看这个的
应该没啥大影响
应该是你对相关页面做过改动或者页面相同但链接不同,检查一下代码看看呢
艺考培训
我从来都不管蜘蛛的
让更多人参与回答