<p>为啥百度最近都是两个蜘蛛同时抓取一个网址</p>
蜘蛛抓取是有规律的,也有着自己的规则,如果蜘蛛不断重复的抓取某个页面,那就表示该页面更新的频率较高。当然如果网站权重很高,那么蜘蛛抓取的频率也会高很多,也可能会出现频繁重复抓取相同页面。
先把假蜘蛛去掉再分析
有什么问题吗 我的也这样，还有你日志查看软件是哪个？
让更多人参与回答
