搜外网>搜外问答>问答页面

蜘蛛爬取重复的页面多次怎么处理蜘蛛？

微信

网站日志查询看到蜘蛛很多次爬取，就是爬取内容都是重复的，每次被爬取的都是重复的，怎么合理的爬取页面最好不要重复了，有什么方法可以解决？蜘蛛爬取页面都是重复的，苦恼死了怎么办？

追加问题
网站日志 举报 本帖由用户发布，如有侵权联系删除  2022-05-17 发布517 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    3 人参与回答
华杰东方 品质家装
华杰东方 · 央联美食——预制菜 打造“中国健康新餐饮、智慧新生活”

更新百度地图，通过多种方式向百度提交最新的链接，吸引蜘蛛抓取新页面

2 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、新站上线，蜘蛛总是会抓取首页，内页不抓取，这种情况也是符合搜索预期；
2、内页，产品页，栏目页，如果是老站了，依旧不抓取，可以尝试引蜘蛛操作，吸引蜘蛛来访抓取内页，抓取诊断无异常，内容稀缺优质的也可以申诉反馈百度站长，请求收录；
3、持续稳定做好站内外SEO优化，积攒域名信任度，做推送提交引蜘蛛，后期内页也会被抓取放出页面收录。

2 年前
IP属地：天津
赞同 0 评论 0
收藏 举报
评论取消
客套企业名录
客套企业名 · 一款可以搜索企业名录的CRM软件。

抓取的页面多加点内链试试呢 蜘蛛就是会经常爬取重复页面的 你还可以多发外链去吸引更多的蜘蛛来抓取

2 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
搜外微信
提供服务
常用链接
产品实验室
©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司