百度蜘蛛每天1400左右的抓取频次,绝大部分都是抓取的js和css文件,需要屏蔽吗,不屏蔽的话会不会浪费了抓取次数,20多天还没有自然收录过内页
Robots文件里面可以写上禁止抓取JS和CSS,这些都没啥太大作用
屏蔽
屏蔽,不屏蔽太浪费资源了
最好是Robots 设置下,主要抓取了JS,css什么的没用
让更多人参与回答