搜外网>搜外问答>问答页面

robots要不要禁止css和js?发现蜘蛛频繁爬这些文件

www.tengyitieyi.com robots要不要禁止css和js?发现蜘蛛频繁爬这些文件

追加问题
    3 人参与回答
颜涂彩绘
颜涂彩绘 · 郑州颜涂墙绘有限公司,郑州墙绘、墙体彩绘精品壁画一站式服务。

一般不建议刻意屏蔽css和JS文件

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、百度有渲染蜘蛛,专门抓取css和JS文件; 

2、如果这个蜘蛛并没有导致站点服务器空间不稳,那么这个没有关系无需屏蔽,如果这个量是成千的抓取,已经严重影响空间稳定性,可反馈申诉; 

3、可持续观察下,看是长期还是短期。

ps:一般不建议刻意屏蔽css和js文件

Robots要不要禁止css和JS?发现蜘蛛频繁爬这些文件

SEO培训招生中
188