蜘蛛每天来网站抓取有抓取的痕迹，每次来了抓取重复页面，一个页面多次被抓取，其它页面没有被抓取，长时间一天天都这样，我应该怎么解决？
你可以加个网站地图
有蜘蛛爬取，那也是挺好的，向楼下说的，多添加一些外链
重复抓取同一个页面，试试在这个页面多添加一些内链看看
让更多人参与回答
