搜外网>搜外问答>问答页面

蜘蛛抓取重复的页面太多怎么解决?

网站每次蜘蛛来网站的次数算正常,每次都会来网站抓取页面,问题是蜘蛛来抓取页面都是重复的太多,怎么让蜘蛛不要继续重复的抓取页面,有什么办法吗?蜘蛛为什么会抓取重复的页面多次?

追加问题
    3 人参与回答

你先看下日志,然后修改一下吧啊

LIMS2实验室信息管理系统
LIMS2 · LIMS2实验室信息化管理云平台

robot文件设置下

素材网
素材网 · 素材网,网站模板,网站素材,视频教程,sucaipro。com

服务器里面应该可以看

SEO培训招生中
166