如何屏蔽js、css、php等其他文件,或者不让蜘蛛抓取这些文件,该怎么设置,有没必要这样设置
1、百度渲染蜘蛛会抓取css、JS这种;
2、如果蜘蛛并非大量抓取这些文件,不屏蔽也没关系;
3、如需屏蔽这些文件,可用Robots文件,disallow 这些文件就好。
在Robots里面屏蔽掉就行 Disallow: /.JS$ Disallow: /.css$ Disallow: /*.PHP$
禁止抓取就行了啊
在Robots里面屏蔽掉就行
如果你想屏蔽某些JS、css、PHP文件,或者不让搜索引擎蜘蛛抓取这些文件,可以通过使用Robots.txt文件:在网站根目录下创建一个名为robots.txt的文件,里面可以写入一些指令,告诉搜索引擎蜘蛛哪些文件或目录不允许访问。例如,如果你想禁止搜索引擎访问js、css、php文件,可以在robots.txt文件中添加以下指令:User-agent: *Disallow: /*.js$Disallow: /*.css$Disallow: /*.php$
写入Robots文件,就屏蔽蜘蛛抓取
让更多人参与回答