搜外网>搜外问答>问答页面

蜘蛛爬取页面重复率太高怎么解决？

微信

蜘蛛每次来网站爬取，老页面是爬取正常的，新页面从没有爬取过，同样的做法就是光爬取老页面，认定了老页面，新页面一次次的不被爬取，是什么原因导致的，如何引导蜘蛛正确爬取页面？谢谢回答问题的大哥大姐们！

举报 本帖由用户发布，如有侵权联系删除 2022-12-29 发布312 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

2 人参与回答

幸之链SE · 外链代发-文章代写-网站关键词排名优化-SEO优化托管企业QQ2881281103

需要专业的SEO专员对站内做蜘蛛爬行路径规划，规划好之后可以永久受益的。你这种情况往往是蜘蛛路径太乱导致的不爬行。

Yolo · 外链代发，文章代写，网站关键词排名优化，SEO优化托管企业QQ230905423

如果您的网站被蜘蛛频繁爬取，可能会导致服务器压力增大，导致网站速度变慢。如果蜘蛛爬取页面的重复率太高，您可以考虑使用以下方法来解决：

使用 rel="canonical" 标签：这个标签告诉搜索引擎哪个页面是“原始”的，哪个页面是重复的。这样，搜索引擎就不会将重复页面纳入索引中。

使用 Robots.txt 文件：这个文件告诉搜索引擎哪些页面或文件不希望被爬取。

使用 noindex 标签：这个标签告诉搜索引擎不要索引某个页面。

在 .htaccess 文件中使用跟踪代码：这个文件可以帮助您限制蜘蛛爬取的频率。

希望这些建议能帮助您解决问题！

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

百度竞价推广几天有效？

火车头采集文章怎么根据关键词来采集？

网站优化关键词排名怎么提升？

问一下购买了指数后百度会优先给排名？除了分析外有啥用呢？

有个网站内容99%纯原创，之前是当天隔天收，最近一个月都不收了

最近站长工具是不是神经错乱了，给我弄个权重5，一万的流量

高度索引量远远高于收录量咋回事？

seo优化外链如何发布？

新手使用什么工具可以查询反链？

网站被K多久优化可以恢复？

SEO培训招生中

189