搜外网>搜外问答>问答页面

蜘蛛抓取页面多数重复怎么解决?

查询网站日志发现,蜘蛛每次爬取都是重复的,重复的页面没有多大用,怎么吸引蜘蛛把蜘蛛吸引网站,什么情况导致蜘蛛爬取页面重复率高?有什么禁止的方法,网站优化如何弄好蜘蛛?

追加问题
    1 人参与回答
风凌
风凌 · 拉卡拉POS机申请办理

已经收录的文章就会重复爬取