网站反复无常的蜘蛛经常不来抓取页面了，有时候来了也是抓取重复的页面，反复这样已经半年了，这个怎么解决蜘蛛的问题？我怎么办？
进来学习的了。。。
请检查是否有以下情况 一、服务器连接异常 二、网络运营商异常 三、DNS异常 四、IP封禁 五、UA封禁 六、死链
楼下回答正确
楼上分析的很到位
1、对于不抓取新页面，导致新页面无收录，可尝试引蜘蛛强制蜘蛛来访抓取； 2、引蜘蛛操作，提交推送URL给百度站长、外链友链、蜘蛛池、收录宝提交可引蜘蛛； 3、自查诊断网站看看站点有无问题，内容质量是否高质非互联网重复同质内容，基础优化是否到位，有无降权表现等，稳定持续站内外优化。
让更多人参与回答
