网站页面蜘蛛抓取不正常,长时间就抓取重复的页面,怎么才能引导蜘蛛抓取页面正常,蜘蛛有时候不来网站,来爬取还是多数都是重复的页面,这是什么原因如何解决?感谢回答问题的小伙伴们!
只要来抓取就行了
反馈一下看看,
只能反馈一下看看效果了
反馈一下看看
怎么个不正常法
让更多人参与回答