搜外网>搜外问答>问答页面

如何禁止蜘蛛抓取重复的页面太多？

微信

网站就是蜘蛛每次来了，反复抓取一个页面多次，每次都是抓取重复的页面太多，为什么蜘蛛到反复抓取一个页面？有什么办法可以禁止蜘蛛不要抓取重复的页面？我查看了每次重复，郁闷啊！

举报 本帖由用户发布，如有侵权联系删除 2021-11-10 发布422 次浏览

1 人参与回答

无双 · 两年seo优化经验，正在学习中。

这种情况不用管它就行了

收录宝