搜外网>搜外问答>问答页面

网站需要在robot.txt中屏蔽/skin/目录吗？悬赏1元已结束

微信

在网站日志中发现蜘蛛大量抓取/skin/目录，而且抓取非常频繁，/skin/目录中包含css和JS文件和少部分图片。

如果想要蜘蛛有更多机会去抓取其他的目录的话，将这个目录在robot.txt中屏蔽是否可行呢？

网站日志 JS 举报 本帖由用户发布，如有侵权联系删除 2021-05-24 发布992 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

20 人参与回答

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

SunShine 等 1 人赞同该回答

1、这里面的css和JS是否需要蜘蛛抓取，百度蜘蛛有渲染蜘蛛是专门抓取css这类文件；
2、如果真的蜘蛛，抓取这个并未影响到你的网站服务器空间稳定性，这个可不必屏蔽，如果大量真实的蜘蛛抓取导致网站服务器不稳，那么可选择；
3、百度渲染蜘蛛是百度想要理解网页中css、js、图片中的信息，才会抓取，一般看自己吧，如果他的抓取已经影响你的稳定性，可选择屏蔽。

人生＝π · 建站小程序空间域名服务器百度爱采购

根据自己的实际情况来做是否屏蔽。

听风“说起

看你自己决定咯，可以屏蔽也可以不屏蔽，其实都还好吧

朱孔馨江 · whl轴承

没必要抓取的文件可以屏蔽

天行健咨询 · 精益生产管理与六西格玛管理咨询，培训机构

一般看自己吧，如果他的抓取已经影响你的稳定性，可选择屏蔽。

杜航宇

1、如果说百度蜘蛛有渲染，那么蜘蛛就会专门抓取css这类文件。

2、如果蜘蛛抓取没有影响到服务器空间稳定就不必屏蔽，如果量大导致服务器不稳可选择选择屏蔽。

3、渲染的蜘蛛一般青睐css文件、JS文件、图片信息，一般抓取不会影响稳定性能，影响了可以选择屏蔽。

seo为我 · 五年专业seo顶级专业优化师，懂的都懂！

这个可以屏蔽的，蜘蛛抓取的栏目页面

申虎包装- · 上海厂家直供装盒机、灌装机、封口机、封尾机、旋盖机

一般都是不用管的，多去提交自己的文章内容，如果那个文件夹里没什么内容也可以屏蔽

￡小黎明 · SEO小白 →（大哥大嫂过年好——-▄█▀█●—-—帮小弟点一下回形针，感激不尽——-—▄█▀█●———☛☛☛☛☛

赞同推推蛙说的

杭州继保 · 微机保护行业

不参与优化的页可以直接屏蔽了

金泰福 · 西安金泰福进口越野车、商务车、房车等！

可以参考下推推蛙的分析建议

钠斯网络¹ · 直播app定制开发18671719772

赞同推推蛙说的

勿忘心安

可以屏蔽的，这个不影响的

生产氯化镁

css JS 这种还是禁止抓取的好

祝福语大全

只让抓取主页栏目页文章页标签页等一切以html结尾的有实质内容的页面，其它的统统屏蔽掉。

加载更多