网站查询发现蜘蛛每天来网站爬取,但是爬取页面都是重复的,长时间内爬取重复率太高,导致爬取失败也没有收录量,这种情况如何解决蜘蛛问题,让蜘蛛爬取页面正常?
这个可以把一些不太有蜘蛛的页面拿出来 坐外链及内敛咯
我这还没有蜘蛛呢,无奈
想百度站长平台提交网站地图,或者在一些外部平台发布外链,引导蜘蛛抓取新的页面
让更多人参与回答