查询网站日志发现，蜘蛛每次爬取都是重复的，重复的页面没有多大用，怎么吸引蜘蛛把蜘蛛吸引网站，什么情况导致蜘蛛爬取页面重复率高？有什么禁止的方法，网站优化如何弄好蜘蛛？
已经收录的文章就会重复爬取
让更多人参与回答
