搜外网>搜外问答>问答页面

百度蜘蛛每天1400左右的抓取频次,绝大部分都是抓取的js和css文件,需要屏蔽吗

百度蜘蛛每天1400左右的抓取频次,绝大部分都是抓取的js和css文件,需要屏蔽吗,不屏蔽的话会不会浪费了抓取次数,20多天还没有自然收录过内页

追加问题
    4 人参与回答
insist
insis · 海石知识产权 wx:18671161341

Robots文件里面可以写上禁止抓取JS和CSS,这些都没啥太大作用

郑州宝胜
郑州宝胜 · 主营阿迪达斯耐克折扣店加盟业务

屏蔽

琥珀少年
琥珀少年 · 郑州博软:APP开发、区块链开发、小程序制作,欢迎来咨询哦!

屏蔽,不屏蔽太浪费资源了

小傲骨
小傲骨 · 给别人做个利于seo优化的网站,关键词分析和布局,小杨

最好是Robots 设置下,主要抓取了JS,css什么的没用

SEO培训招生中
190