搜外网>搜外问答>问答页面

蜘蛛抓取页面都是重复怎么处理？

微信

网络蜘蛛抓取到网页数据后，需要做的处理工作包括哪些？是不是我做的哪里不对，每次蜘蛛是过来抓取页面，可是都是重复的页面，怎么提升蜘蛛抓取页面的问题？

追加问题
举报 本帖由用户发布，如有侵权联系删除  2023-05-30 发布269 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    3 人参与回答
天行健咨询
天行健咨询 · 精益生产管理与六西格玛管理咨询，培训机构

首先，如果你觉得这些被重复抓取的页面没有用，可以设置Nofollow；

其次，及时提交想要被抓取的目标页面（写进Sitemap，主动提交等等都行）；

最后，注意目标页面的链接入口，通过内链和外链等优化，来促进搜索引擎蜘蛛抓取。

10 个月前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
客套企业名录
客套企业名 · 一款可以搜索企业名录的CRM软件。

可以在重复抓取的页面中多添加内链 引导蜘蛛爬取

11 个月前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
Plum
Plum · 聚乙烯醇缩丁醛-天元化工网-小小站长,兢兢业业！

那就引导抓取新的

11 个月前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 百家号新手期一天能发几篇合适？
  • 域名被劫持该如何处理?
  • 如果用网站的二级域名做其他网站然后被降权了是否会对主网站造成影响？
  • 蜘蛛是怎样在网站上抓取内容的呢?
  • seo哪里免费发布外链比较好？
  • 友情链接怎么互动交换最好？
  • 伪原创工具哪款比较好用一点？
  • 紧张啊 紧张啊 明天要去面试seo怎么通过？
  • 同IP域名和网站被惩罚,会影响其它站点吗?
  • 网站加入地图后出现了错误链接怎么办?
    • SEO培训招生中
    190
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司