搜外网>搜外问答>问答页面

蜘蛛爬取页面重复率太高怎么解决？

微信

蜘蛛每次来网站爬取，老页面是爬取正常的，新页面从没有爬取过，同样的做法就是光爬取老页面，认定了老页面，新页面一次次的不被爬取，是什么原因导致的，如何引导蜘蛛正确爬取页面？谢谢回答问题的大哥大姐们！

追加问题
本帖由用户发布，如有侵权联系删除  2022-12-29 发布603 次浏览
举报
其他问题
 
    2 人参与回答
用户228869 · 外链代发-文章代写-网站关键词排名优化-SEO优化托管 企业QQ2881281103

需要专业的SEO专员对站内做蜘蛛爬行路径规划，规划好之后可以永久受益的。你这种情况往往是蜘蛛路径太乱导致的不爬行。

2 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
用户228873 · 外链代发，文章代写，网站关键词排名优化，SEO优化托管企业QQ230905423

如果您的网站被蜘蛛频繁爬取，可能会导致服务器压力增大，导致网站速度变慢。如果蜘蛛爬取页面的重复率太高，您可以考虑使用以下方法来解决：

使用 rel="canonical" 标签：这个标签告诉搜索引擎哪个页面是“原始”的，哪个页面是重复的。这样，搜索引擎就不会将重复页面纳入索引中。

使用 Robots.txt 文件：这个文件告诉搜索引擎哪些页面或文件不希望被爬取。

使用 noindex 标签：这个标签告诉搜索引擎不要索引某个页面。

在 .htaccess 文件中使用跟踪代码：这个文件可以帮助您限制蜘蛛爬取的频率。

希望这些建议能帮助您解决问题！

2 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消

收录宝

yq.cn yq.cn yq.cn yq.cn yq.cn yq.cn yq.cn yq.cn yq.cn yq.cn gbook ntact outus yq.cn yq.cn yq.cn yq.cn fyq.c fyq.c fyq.c

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司