5436
浏览
关于蜘蛛和url的十个问题，（希望有经验的人士过来看下） 百度蜘蛛（baiduspider）
1.首先百度蜘蛛过来的，关google什么事；2.通过日志你是可以区分那个连接是百度的；3.偶会抓到但是对网站不好，用robots屏蔽掉带?的链接，已经被抓去到了，就没辙了，最好的方法就是屏蔽掉鞥百度慢慢删除动态的链接。或者通过重写或者程序……
