接手了一个老站,网站新增了一个文章页板块 专门用来更新文章的,这几天查看日志,这个新建的文章版块,蜘蛛很少抓取文章页,大量的停留在上一级的栏目页面,而且蜘蛛还大量抓取css和图片,大神们有哪些方法可以解决这些问题。
第一点:因为蜘蛛 你增加了一个模块 蜘蛛 还没有适应你的网站 所以前期肯定有适应性
第二点:适应完还是不收录,那么就是入口的问题了 ,这个页面的入口太少,导致蜘蛛不流通 蜘蛛经过这里时候 从另一个 出口 流出了。所以 这个也是蜘蛛不爬去的原因
第三点:页面相关性比较少,比如 就单单的 列表 里面左右 底部没有相关的东西存在,所以也会减少蜘蛛爬去
第四点:就是网站的内容质量了 质量不高 蜘蛛也是不愿意爬去的
所以针对这四点 做好网站 祝你爬去成功 加油!!!
多给这个新栏目,或新更新的文章内链,时间长了,蜘蛛抓取量会提高,收录也会起来
最直接就是修改网站层级,做主动推送
可以修改网站层级。然后提交目录改版。
你刚新创建的文章板块,前期你需要做高质量原创内容,然后相互内链,起到一种连贯性,同时也要考虑用户 体验,可以利用内链来引导,这些做完之后可以把你发布的文章到一些高权重平台去发布,比如豆瓣、新浪博客等等,底部顺便带上自己网站地链接,吸引蜘蛛来抓取网站页面
爬行深度不够有两个方面:
1、全站的内链关系建议优化,整个网站的内链条例清晰且内链丰富,如同一张蜘蛛网,蜘蛛深度自然就有了,因此你在文章板块和详情页嵌入其它板块内容,其它板块页面也相应嵌入文章板块内容
2、文章质量不行,首先你文章板块是新增的,在权重上来说不高,这样的情况下,你文章的质量就需要提高,每日定时定量的更新,最好的原创度很高的文章,文章要符合网站主题。切记目前不要采集或者伪原创度不高的文章,也切记不要想起了就大量更新,没想起就不更新,要按时按量。最主要是文章质量,文章质量不高,蜘蛛不会来爬的
爬行不够就多增加页面的丰富度,让内容页面丰富起来,比如加上Tag标签,相关推荐,图片里面有文章,文章里面有图片
让更多人参与回答