以前网站蜘蛛正常来，也正常抓取页面，最近一周时间蜘蛛突然抓取重复页面，现在两天不经常来了，偶尔来了还抓重复的页面，这个让纠结是啥问题导致蜘蛛变化无常？怎么处理蜘蛛的问题？
找服务商给你解决看看
我也是最近不抓内页了，开始抓地图，问题是我不知道地图它抓多少啊
我的也是，直接是百度蜘蛛抓取异常，无法识别IP
让更多人参与回答
