搜外网>搜外问答>问答页面

请问蜘蛛大量抓取js和css文件，用robots屏蔽会不会对网站造成影响悬赏1元已结束

微信

rt，最近检查蜘蛛日志，发现js和css文件的抓取词数已经是主力目录的接近五倍了，请问我这里如果屏蔽掉这些文件抓取的话，会不会影响到蜘蛛对页面样式的读取，如果不屏蔽的话，后续会不会影响收录，多谢各位大神。

Robots JS 举报 本帖由用户发布，如有侵权联系删除 2024-03-13 发布732 次浏览

10 人参与回答

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

罗凌峰等 1 人赞同该回答

1、css和JS一般都是渲染蜘蛛去抓取爬行，并不影响站点的收录；
2、网站内容优质，抓取无异常，持续更新内容，引蜘蛛来访抓取，会收录；
3、如果css和js被放出收录了，这种可考虑Robots封禁。如不收录，无影响。

奋力向前 · 第三方软件测试报告

可考虑Robots封禁一下试试，如果不行就改回来。

唐公子 · 深圳入户，成人学历提升，专升本

网站排名下降如果某些重要的页面被屏蔽了,搜索引擎的爬虫无法访问这些页面,就会影响网站的收录和排名

啊七

基本不会有影响得

泉水溪溪 · 鑫盛主营包装机设备，粉剂包装机，颗粒包装机，可用于面粉、粮食、化工、肥料行业

应该是没什么影响的

网站开发( · dazhe5 .cn站长

不会有影响，可以屏蔽掉这些文件

武荣网络 · 网站建设/仿站、美团点评运营、云服务器、DIY小程序、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

您可以考虑在Robots文件中指定对JS和CSS文件的抓取策略。例如，您可以使用Disallow指令来阻止爬虫抓取这些文件。另一种方法是使用Allow指令来明确允许爬虫抓取这些文件，但限制抓取频率。

丫丫 · 唵嘛咪叭咪吽

基本上无影响，屏蔽掉JS和CSS文件夹即可

收录宝