搜外网>搜外问答>问答页面

求助各位大佬我这个蜘蛛频繁的重复爬取同一个url是什么原因?

<p>这样得url不止图片的这些,还有很多,一天5000蜘蛛大部分都是重复爬取的<br></p>

追加问题
    4 人参与回答

可能是这个链接的入口较多

刘畅
刘畅 · plc视频教程

你这个页面是不是内链、外链做的比较多

胡汉三
胡汉三 · 上海沈泉泵阀公司

这种基本上就只有等大佬前来回答了

素材网
素材网 · 素材网,网站模板,网站素材,视频教程,sucaipro。com

多发点外链

SEO培训招生中
188