百度蜘蛛一直不断地爬取：/plugins/weshare/index.html 这个页面是什么问题 悬赏3元 已结束
百度蜘蛛一直不断地爬取：/plugins/weshare/index.html 这个页面是什么问题
这个目录打开是：{"appid":"wxa6f5faf9d4f44ca","timestamp":168586068,"nonceStr":"rL7UpuFWDFax4Dq","signature":"0a9de758d34ac34574c3c87882818e07cf0c6a6"}
这个是微信公众号的一个东西，请问这个我要怎么弄啊，求大佬告知，robots也添加了 但是他还是不断地访问这个目录
14 人参与回答
把地址禁掉就好了
没受到影响就不用管它
有些蜘蛛是假蜘蛛的 不要以为来的就是真正的蜘蛛
禁止访问URL就行了
直接屏蔽就OK了，不用过多纠结！！！
是不是被刷了
把地址禁掉就行
如果不想访问就把地址禁了就行哦
是不是后台程序带的，如果不是的就屏蔽一下就行了
不想访问就把地址禁了就行
1、检查下网站内部有没有这个URL通道；
2、不想被抓取，Robots已封禁，测试也显示不能抓取那么就没问题；
3、经常被抓取，返回码是什么，有没有被收录，无通道，已封禁，也并没有被收录，那么无影响；
ps：百度还是遵守robots规则，已封禁，百度站长里面robots检测也显示封禁，正常蜘蛛不会抓取
