对于JS文件要不要让百度爬虫爬取？ 推荐热议
<p>我的网站日志现在出现了好多爬虫爬的404JS文件，要不要让爬虫爬？还是直接在ROBOTS里面给禁止了？</p><p><br></p><p><br></p>
16 人参与回答
不清楚
我的是没有禁止，百度也爬取不了，估计你这个是伪蜘蛛
可以禁掉，爬了也没意义。
可以禁止
这个不用管的，没事的
不需要禁止
不清楚
一般是禁止抓取的
这个是伪蜘蛛~
只能爬取到链接
<p>我的网站日志现在出现了好多爬虫爬的404JS文件，要不要让爬虫爬？还是直接在ROBOTS里面给禁止了？</p><p><br></p><p><br></p>
不清楚
我的是没有禁止，百度也爬取不了，估计你这个是伪蜘蛛
可以禁掉，爬了也没意义。
可以禁止
这个不用管的，没事的
不需要禁止
不清楚
一般是禁止抓取的
这个是伪蜘蛛~
只能爬取到链接
