搜外网>搜外问答>问答页面

对于JS文件要不要让百度爬虫爬取? 推荐热议

<p>我的网站日志现在出现了好多爬虫爬的404JS文件,要不要让爬虫爬?还是直接在ROBOTS里面给禁止了?</p><p><br></p><p><br></p>

追加问题
    16 人参与回答
Broken凉城 等 1 人赞同该回答

这个没弄过

咋看网站日志呢?学习一下

不清楚

吴建福
吴建福 · 老板说,下个月排名上不去就滚蛋~~~~

我的是没有禁止,百度也爬取不了,估计你这个是伪蜘蛛

可以禁掉,爬了也没意义。

可以禁止

可以禁止啊  JS不需要被抓取   你也可以整理出来提交百度  说明这些是404页面不要抓取

程东
程东 · 免费注册公司就找云算账

这个不用管的,没事的

不需要禁止

不清楚

沽无名
沽无名 · 专业服务白帽优化

一般是禁止抓取的

科脉快讯
科脉快讯 · 本人经营收银软件,在零售、餐饮、数字化体验等方面小有建树哦,不信你来看-科脉kemai

JS没有太多不必要禁止掉

胡梦君
胡梦君 · SEO小白--被百度搞废的seo

这个是伪蜘蛛~

这个还真没研究过 不过百度好像不能爬取到JS是干嘛的 只能知道这个是个JS  应该没必要禁掉吧

只能爬取到链接

加载更多