搜外网>搜外问答>问答页面

网站需要在robot.txt中屏蔽/skin/目录吗? 悬赏1元 已结束

在网站日志中发现蜘蛛大量抓取/skin/目录,而且抓取非常频繁,/skin/目录中包含css和JS文件和少部分图片。

如果想要蜘蛛有更多机会去抓取其他的目录的话,将这个目录在robot.txt中屏蔽是否可行呢?

追加问题
    20 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM网站诊断、方案编写、优化运维。微信:tuituiwaseo
SunShine 等 1 人赞同该回答

1、这里面的css和JS是否需要蜘蛛抓取,百度蜘蛛有渲染蜘蛛是专门抓取css这类文件;
2、如果真的蜘蛛,抓取这个并未影响到你的网站服务器空间稳定性,这个可不必屏蔽,如果大量真实的蜘蛛抓取导致网站服务器不稳,那么可选择;
3、百度渲染蜘蛛是百度想要理解网页中css、js、图片中的信息,才会抓取,一般看自己吧,如果他的抓取已经影响你的稳定性,可选择屏蔽。

根据自己的实际情况来做是否屏蔽。

看你自己决定咯,可以屏蔽也可以不屏蔽,其实都还好吧

朱孔馨 江苏江瓦轴承
朱孔馨 江 · whl轴承

没必要抓取的文件可以屏蔽

天行健咨询
天行健咨询 · 精益生产管理与六西格玛管理咨询,培训机构

一般看自己吧,如果他的抓取已经影响你的稳定性,可选择屏蔽。

1、如果说百度蜘蛛有渲染,那么蜘蛛就会专门抓取css这类文件。

2、如果蜘蛛抓取没有影响到服务器空间稳定就不必屏蔽,如果量大导致服务器不稳可选择选择屏蔽。

3、渲染的蜘蛛一般青睐css文件、JS文件、图片信息,一般抓取不会影响稳定性能,影响了可以选择屏蔽。

Agoni°
Agoni · 更多bt游戏敬请关注9917游戏!!

这个可以屏蔽的,蜘蛛抓取的栏目页面

申虎包装-杨敏
申虎包装- · 上海厂家直供装盒机、灌装机、封口机、封尾机、旋盖机

一般都是不用管的,多去提交自己的文章内容,如果那个文件夹里没什么内容也可以屏蔽

£小黎明
£小黎明 · SEO小白 →(好心人点一点右边的回形针嘛,求求各位大哥啦)→

赞同推推蛙说的

杭州继保
杭州继保 · 微机保护行业

不参与优化的页可以直接屏蔽了

金泰福
金泰福 · 西安金泰福进口越野车、商务车、房车等!

可以参考下推推蛙的分析建议

钠斯网络¹⁸⁶⁷¹⁷¹⁷⁰⁰¹
钠斯网络¹ · 直播系统定制开发

赞同推推蛙说的

可以屏蔽的,这个不影响的

css JS 这种还是禁止抓取的好

只让抓取主页栏目页文章页标签页等一切以html结尾的有实质内容的页面,其它的统统屏蔽掉。

加载更多
SEO培训招生中
158