百度有时候来网站，有时候不来网站了，反反复复的有时候抓取也是重复的页面，怎么让蜘蛛抓取页面不要重复，平时优化如何管理好蜘蛛的情况？让蜘蛛抓取正常点，有什么好的方法？
抓取异常自己没问题去申诉反馈
前来学习的，学习的非常的认真
看看返回码，抓取异常自己没问题去申诉反馈
让更多人参与回答
