如何获知BaiduSpider在网站爬行的规律
大地旅人说得对,按照他的方法来就行,或者百度,反正答案都是一样的
可以通过百度站长平台查看是否有蜘蛛来爬取啊
我们可以在蜘蛛日志中查看到蜘蛛行动的轨迹,如果你在IIS日志中发现不了百度蜘蛛的痕迹,那么就证明百度蜘蛛并没有访问到你的域名网站,这里的问题需要你自查,例如网站自身问题、ROBOT问题、网站质量问题等等
有人说看日志,但是我的是IIS的,找云服务器空间商他们把iis日志发给我,但是我没有找到蜘蛛的痕迹。 我在网站代码里加里一个能自动更新的代码,文件每天都更新,夜里12点半左右,我看了统计,那时候没有人访问我的网站,是不是蜘蛛在爬我的网站呢,她们爬的过程是不是就是访问的过程?
让更多人参与回答