也有同福抓取的 ,说明你网站可以啊
有可能是同一个页面
如果网站的内链完善的话能爬很多页面
也有重复抓取的
不是,有可能是抓取同一个页面500次
也会有重复抓取的
抓取频次代表的是蜘蛛爬行的次数,每次爬行的轨迹不可能完全不同,肯定会有重复
来500次蜘蛛,通常会有多个蜘蛛爬行同一个页面的情况
我觉得你的很已经很厉害了
让更多人参与回答