蜘蛛抓取重复的页面太多怎么解决?

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

我的网站做了301跳转和rel="canonical"，为什么链接还是收录错误

如何提高网站的流量和权重呢？收录一直在增加，但是权重和流量都没有改变，不知道是什么原因？求大神

百度竞价推广网站没有转化率太低咋弄?

高手帮忙看下这个网站结构是否利于优化

百度不收录反而掉了怎么回事

哪里能设置微信公众号自动回复消息文字加图片

问答频道内容半年多了一直没什么收录，各位大神帮忙看下是有什么原因？

请问大家一个手机端解析的问题，我目前解析了 m.52huodong.cn，但是我网页适配的是ww

老哥们，午夜睡不着，有什么好看电影推荐吗?

有没有自动抓取网站链接然后提交到，像搜狗，百度，神马的工具？

Answer 1

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、蜘蛛抓取重复页面，这些页面里面有无导出外部的URL，如果有，也会有机会被抓取爬行；
2、例如新站，蜘蛛可能更多是抓取站点首页，内页不予抓取，这种多半是首页信任度高，内页还需要持续优化积攒信任度；
3、站内结构优化合理，彼此直接都有指向，那么都会有机会被抓取；
4、蜘蛛不抓取其他页面，可以做提交推送URL给百度站长，站点规划合理，其他页面也有机会被抓取。