搜外网>搜外问答>问答页面

如何禁止蜘蛛抓取重复的页面太多？

微信

网站就是蜘蛛每次来了，反复抓取一个页面多次，每次都是抓取重复的页面太多，为什么蜘蛛到反复抓取一个页面？有什么办法可以禁止蜘蛛不要抓取重复的页面？我查看了每次重复，郁闷啊！

举报 本帖由用户发布，如有侵权联系删除 2021-11-10 发布336 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

1 人参与回答

无双 · 两年seo优化经验，正在学习中。

这种情况不用管它就行了

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

文章更新上午收录了，下午收录消失了怎么回事？

竞价账户预算小，但是行业竞争比较激烈，怎么操作？

网站被恶意刷流量，怎么处理

听说织梦收费了，还能用么？

老铁们，自适应好还是pc➕m模版好？！？

百度统计可以看到那种打广告的，这些怎么屏蔽，怎么来的都不知道

SEO这个行业有没发展前途？

除了爱番番还有哪些好用的商桥软件~

网站如何交换友情链接去哪里可以？

域名被中国移动网络屏蔽，有没有哪位大佬遇到过，要怎么破？

SEO培训招生中

190