Disallow: /*.js
就是这样写
蜘蛛不会爬JS文件,禁js文件不会有太大影响。拿不准也可以不去管它。
不会抓取的,没什么用
JS文件不重要,那个无所谓的
没影响,JS路径和网页路径还是有区别的,禁用js并不会影响网页抓取收录
JS文件不重要,可以禁止的
那个无所谓的
不会爬取啊!
好像爬虫不会抓取JS文件,不禁用也可以吧
让更多人参与回答