百度一直抓取一个没有意义的js,抓取量占90%,怎么处理?

百度一直抓取一个没有意义的js,抓取量占90%,怎么处理?robots无效,nofollow无效,如何禁止百度抓取一个文件或者如何做到将js文件声明404?

追加问题
关注问题 分享到微信 收藏
邢老六 · 我的小站,www.taomai360.com,喜欢的可以来看看噢

robots对于百度来说是没有用的,百度他名义上遵守这个协议,但是实际是不遵守的,我自己的站www.taomai360.com

前期刚开始创建的时候,已经做了robots屏蔽了所有搜索引擎,不过还是被百度抓走了首页,还可以通过爬取痕迹看到百度蜘蛛已经爬取过首页

如果你不想让他抓的话,可以去提交链接,在百度工具里面