蜘蛛爬行日记分析(求助)

2,027 次浏览

麻烦各位帅哥、美女帮忙看一下这是什么情况,存在这种情况已经很长一段时间了。

百度蜘蛛不爬行网站,如果爬行有记录访问的也是下图这样的内容。



追加问题
    2 人参与回答
张剑雄
张剑雄 · 感想·敢说·赶做——Mac·大雄

借问楼主使用的什么软件分析日志?

陈鲜福
陈鲜福 · 研究用户需求与体验,实践是最好老师 SEO经验2010年起

影响搜索引擎抓取有这么几个原因:
1.Robots.txt 设置错误,有没有屏蔽蜘蛛了。
2. 网站是不是设置了防采集功能 比如:一个ip超过百次数访问自动屏蔽,把蜘蛛也屏蔽了。
3. 防火墙规则有没有设置错误。
4. 多次301跳转 搜索引擎是不爬的,比如:你截图的状态吗 302临时跳转。
5. 以上都没有问题,可以做一些引导蜘蛛抓取:列出网站的所有url,批量ping给百度,做一次全站url外链(首页-栏目页-内页)。

回复问答禁止带推广链接,了解合理带链接的方法