www.tengyitieyi.com robots要不要禁止css和js？发现蜘蛛频繁爬这些文件
一般不建议刻意屏蔽css和JS文件
1、百度有渲染蜘蛛，专门抓取css和JS文件；
2、如果这个蜘蛛并没有导致站点服务器空间不稳，那么这个没有关系无需屏蔽，如果这个量是成千的抓取，已经严重影响空间稳定性，可反馈申诉；
3、可持续观察下，看是长期还是短期。
ps：一般不建议刻意屏蔽css和js文件
Robots要不要禁止css和JS？发现蜘蛛频繁爬这些文件
让更多人参与回答
