搜外网>搜外问答>问答页面

蜘蛛爬取页面重复率太高怎么解决？

微信

蜘蛛每次来网站爬取，老页面是爬取正常的，新页面从没有爬取过，同样的做法就是光爬取老页面，认定了老页面，新页面一次次的不被爬取，是什么原因导致的，如何引导蜘蛛正确爬取页面？谢谢回答问题的大哥大姐们！

举报 本帖由用户发布，如有侵权联系删除 2022-12-29 发布411 次浏览

交换友情链接，就用搜外友链，方便！

2 人参与回答

幸之链SE · 外链代发-文章代写-网站关键词排名优化-SEO优化托管企业QQ2881281103

需要专业的SEO专员对站内做蜘蛛爬行路径规划，规划好之后可以永久受益的。你这种情况往往是蜘蛛路径太乱导致的不爬行。

Yolo · 外链代发，文章代写，网站关键词排名优化，SEO优化托管企业QQ230905423

如果您的网站被蜘蛛频繁爬取，可能会导致服务器压力增大，导致网站速度变慢。如果蜘蛛爬取页面的重复率太高，您可以考虑使用以下方法来解决：

使用 rel="canonical" 标签：这个标签告诉搜索引擎哪个页面是“原始”的，哪个页面是重复的。这样，搜索引擎就不会将重复页面纳入索引中。

使用 Robots.txt 文件：这个文件告诉搜索引擎哪些页面或文件不希望被爬取。

使用 noindex 标签：这个标签告诉搜索引擎不要索引某个页面。

在 .htaccess 文件中使用跟踪代码：这个文件可以帮助您限制蜘蛛爬取的频率。

希望这些建议能帮助您解决问题！

蜘蛛爬取页面重复率太高怎么解决？

收录宝

提供服务

常用链接

产品实验室