<p>我的网站日志现在出现了好多爬虫爬的404JS文件,要不要让爬虫爬?还是直接在ROBOTS里面给禁止了?</p><p><br></p><p><br></p>
这个没弄过
咋看网站日志呢?学习一下
不清楚
我的是没有禁止,百度也爬取不了,估计你这个是伪蜘蛛
可以禁掉,爬了也没意义。
可以禁止
可以禁止啊 JS不需要被抓取 你也可以整理出来提交百度 说明这些是404页面不要抓取
这个不用管的,没事的
不需要禁止
一般是禁止抓取的
JS没有太多不必要禁止掉
这个是伪蜘蛛~
这个还真没研究过 不过百度好像不能爬取到JS是干嘛的 只能知道这个是个JS 应该没必要禁掉吧
只能爬取到链接
让更多人参与回答