搜外网>搜外问答>问答页面

网站需要在robot.txt中屏蔽/skin/目录吗？悬赏1元已结束

微信

在网站日志中发现蜘蛛大量抓取/skin/目录，而且抓取非常频繁，/skin/目录中包含css和JS文件和少部分图片。

如果想要蜘蛛有更多机会去抓取其他的目录的话，将这个目录在robot.txt中屏蔽是否可行呢？

网站日志 JS

本帖由用户发布，如有侵权联系删除 2021-05-24 发布1,167 次浏览

交换友情链接，就用搜外友链，方便！

20 人参与回答

用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

用户193277 等 1 人赞同该回答

1、这里面的css和JS是否需要蜘蛛抓取，百度蜘蛛有渲染蜘蛛是专门抓取css这类文件；
2、如果真的蜘蛛，抓取这个并未影响到你的网站服务器空间稳定性，这个可不必屏蔽，如果大量真实的蜘蛛抓取导致网站服务器不稳，那么可选择；
3、百度渲染蜘蛛是百度想要理解网页中css、js、图片中的信息，才会抓取，一般看自己吧，如果他的抓取已经影响你的稳定性，可选择屏蔽。

用户185412 · 建站小程序空间域名服务器百度爱采购

根据自己的实际情况来做是否屏蔽。

用户197006

看你自己决定咯，可以屏蔽也可以不屏蔽，其实都还好吧

用户144857 · whl轴承

没必要抓取的文件可以屏蔽

用户153190 · 精益生产管理与六西格玛管理咨询，培训机构

一般看自己吧，如果他的抓取已经影响你的稳定性，可选择屏蔽。

用户196142

1、如果说百度蜘蛛有渲染，那么蜘蛛就会专门抓取css这类文件。

2、如果蜘蛛抓取没有影响到服务器空间稳定就不必屏蔽，如果量大导致服务器不稳可选择选择屏蔽。

3、渲染的蜘蛛一般青睐css文件、JS文件、图片信息，一般抓取不会影响稳定性能，影响了可以选择屏蔽。

用户197783 · 五年专业seo顶级专业优化师，懂的都懂！

这个可以屏蔽的，蜘蛛抓取的栏目页面

用户158433 · 上海厂家直供装盒机、灌装机、封口机、封尾机、旋盖机

一般都是不用管的，多去提交自己的文章内容，如果那个文件夹里没什么内容也可以屏蔽

用户197048 · SEO小白 →（大哥大嫂过年好——-▄█▀█●—-—帮小弟点一下回形针，感激不尽——-—▄█▀█●———☛☛☛☛☛

赞同推推蛙说的

用户166956 · 微机保护行业

不参与优化的页可以直接屏蔽了

用户162305 · 西安金泰福进口越野车、商务车、房车等！

可以参考下推推蛙的分析建议

用户195972 · 直播app定制开发18671719772

赞同推推蛙说的

用户84956

可以屏蔽的，这个不影响的

用户195244

css JS 这种还是禁止抓取的好

用户196976

只让抓取主页栏目页文章页标签页等一切以html结尾的有实质内容的页面，其它的统统屏蔽掉。

用户190410

没必要屏蔽，不影响速度的话

用户198210

不参与优化的页可以直接屏蔽了

用户189442 · 我只是混外链的

不参与优化的页可以直接屏蔽了

用户198158 · 网站建设，网站制作，app开发，小程序开发

不参与优化的页可以直接屏蔽了

用户159126 · 专业的有问必答平台

完全可以的，这些文件没必要抓取的，我的就设置了

网站需要在robot.txt中屏蔽/skin/目录吗？悬赏1元已结束

提供服务

常用链接

产品实验室

网站需要在robot.txt中屏蔽/skin/目录吗？ 悬赏1元 已结束

收录宝

蜘蛛池

提供服务

常用链接

产品实验室

网站需要在robot.txt中屏蔽/skin/目录吗？悬赏1元已结束