查询网站日志发现,蜘蛛每次爬取都是重复的,重复的页面没有多大用,怎么吸引蜘蛛把蜘蛛吸引网站,什么情况导致蜘蛛爬取页面重复率高?有什么禁止的方法,网站优化如何弄好蜘蛛?
已经收录的文章就会重复爬取
让更多人参与回答