17 人参与回答
最佳回答
加载更多
没有答案.......
会有一些是假蜘蛛
应该是假蜘蛛留下的轨迹
看看是不是百度的蜘蛛，假的蜘蛛就屏蔽这个文件夹，不需要的垃圾文件夹都可以屏蔽，
先判断是否是真实的蜘蛛，如果不是就不管它
多半是假蜘蛛，扫描漏洞，或者镜像你的网站
假蜘蛛
可能是假蜘蛛留下的，引诱你点击的
这个蜘蛛挺多的啊
可能是假蜘蛛在模拟爬行
1、站点无哪些URL，这些URL也不会被收录，那么不影响网站；
2、可能是虚假的蜘蛛模拟爬行；
3、真蜘蛛不会抓取不存在的网页内容；
4、可持续观察，看看抓取持续几天；
日志里有假蜘蛛
晕，不知道你这咋回事
多去跟新就好了 ，日志偶尔看看就好了
