搜外网>搜外问答>问答页面

网站蜘蛛反复抓取一个页面怎么处理?

网站蜘蛛反复抓取一个页面每次重复的页面,这样继续抓取也没有用,怎么才能处理蜘蛛引导蜘蛛抓取正常的页面,各位大佬帮忙解答疑问蜘蛛问题,咋处理?

追加问题
    9 人参与回答
污水处理设备
污水处理设 · 专业一体化污水处理设备、溶气气浮机源头厂家!

按照楼上说的操作试试

可以用Robots禁止蜘蛛抓取此页面

抓取次数多了,应该就会抓取其他的页面。

胡汉三
胡汉三 · 上海沈泉泵阀公司

那就多在这个页面加些内链,。把他喂饱

素材网
素材网 · 素材网,网站模板,网站素材,视频教程,sucaipro。com

进来看看

利美医疗
利美医疗 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

正常抓取,做好内链即可

企业名录大全
企业名录大 · 客套企业名录,内置1亿+企业名录线索库,轻松开拓企业客户。

可以多在这个页面中加点内链

可以禁止抓取,在Robots中写入禁止抓取

12365信息网
12365 · 12365信息网-生活帮助知识库

禁止百度抓取

SEO培训招生中
190