每天网站上都有爬css和js等 要不要屏蔽掉来节约爬虫？
这样会让爬虫节省时间去爬其他页面am？
还是说他本来想爬js 结果屏蔽了 他扭头就走了？也不会去爬其他的内页？
可以考虑禁止。
我都全部屏蔽了 图片不带属性词 全部屏蔽了 抓取也没用
那肯定是没有必要的，蜘蛛不会爬取css、JS，图片肯定是需要被抓取的
让更多人参与回答
