网站蜘蛛每天都按时来,来的次数也是正常,就是每次来了抓取不精准,抓取页面都是重复的太多了,怎么才能不让蜘蛛抓取页面重复太高呢?麻烦各位多指导下谢谢!
这个没办法控制的
这个能有啥办法呢,没听说过有什么技术或者手段能够影响百度蜘蛛的抓取
1、蜘蛛抓取重复URL这个不奇怪; 2、要想蜘蛛抓取新的页面URL,做好引蜘蛛操作,基础优化,提升域名信任度及内容质量。
让更多人参与回答