对于JS文件要不要让百度爬虫爬取? 推荐热议

我的网站日志现在出现了好多爬虫爬的404JS文件,要不要让爬虫爬?还是直接在ROBOTS里面给禁止了?


3

追加问题
    16 人参与回答
Broken凉城 等 1 人赞同该回答

这个没弄过

只能爬取到链接

这个还真没研究过 不过百度好像不能爬取到JS是干嘛的 只能知道这个是个JS  应该没必要禁掉吧

胡梦君
胡梦君 · SEO小白--被百度搞废的seo

这个是伪蜘蛛~

科脉快讯
科脉快讯 · 本人经营收银软件,在零售、餐饮、数字化体验等方面小有建树哦,不信你来看-科脉kemai

JS没有太多不必要禁止掉

沽无名
沽无名 · 专业服务白帽优化

一般是禁止抓取的

不清楚

这个不用管的,没事的

加载更多
回复问答禁止带推广链接,了解合理带链接的方法