9 人参与回答
胡汉三
胡汉三 · 上海沈泉泵阀公司

也有同福抓取的 ,说明你网站可以啊

格栏特铝合金脚手架
格栏特铝合 · 广州格栏特是一个铝合金脚手架的出租售卖的公司,量大从优!需要的联系138-2600-2184微信同步

有可能是同一个页面

如果网站的内链完善的话能爬很多页面

无双
无双 · 两年seo优化经验,正在学习中。

也有重复抓取的

乐尚
乐尚 · 岩土工程安全监测仪器、自动化数据采集设备、人工测读设备生产厂家。

不是,有可能是抓取同一个页面500次

也会有重复抓取的

抓取频次代表的是蜘蛛爬行的次数,每次爬行的轨迹不可能完全不同,肯定会有重复

来500次蜘蛛,通常会有多个蜘蛛爬行同一个页面的情况

我觉得你的很已经很厉害了

SEO培训招生中
160