搜外网>搜外问答>问答页面

网站每天抓取大量的bootstrap字体404，需要删除吗？怎么删除悬赏3元已结束

微信

404

本帖由用户发布，如有侵权联系删除 2020-11-28 发布1,083 次浏览

交换友情链接，就用搜外友链，方便！

16 人参与回答

最佳回答

用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、百度站长抓取有无异常，无异常不影响；

2、对于一些网页字体文件，可Robots屏蔽抓取这些文件；

3、除了网页文件，想要被抓取爬行收录的不能屏蔽外，其余的如果蜘蛛抓取频次太多，可考虑屏蔽。

4、网站也有自动生成robots屏蔽文件，注意不要屏蔽整站，例如屏蔽skin文件下的fonts文件

Disallow: /skin/fonts

5、上传robots.txt到根目录即可，里面内容就是写你需要屏蔽内容；

6、如果你的里面根本没这些文件，那么不影响，只要百度站长抓取无异常就可以。真的蜘蛛爬也是抓取有的东西，只有模拟的才会抓取不存在的文件。

用户187882

没关系的

用户162305 · 西安金泰福进口越野车、商务车、房车等！

好吧，不是很懂，进来学习学习

用户159604 · 个人擅长百度贴吧霸屏+百度文库外链+seo优化

很棒阿这个

用户174904 · 网站建设/SEO咨询/软件开发

404都不是好事，要么屏蔽，要么处理一下呗。

用户171948

你的情况和我的情况一模一样我被抓的也是很多的垃圾路径然后返回的全部都是404 我在FTP中找都找不到文件的

用户101316 · 擅长百度优化，网站搜索营销及网站优化分析 Q305114474

我网站也存在这样的情况，通过实际链接进行查找，其实这个文件是存在的，正常这种情况要不然就是不管，如果需要处理就直接在根目录的Robots.txt文件里添加一句： Disallow: /skin/fonts 就OK。。

如果网站没有robots.txt 直接建一个就可以的哈

用户184975 · 换友链www。jshlpower。com

1606531800(1)

这样子行不行？

用户179092 · 上海沈泉泵阀公司

对啊，屏蔽掉不就得了

用户142098 · seo小学生

不需要删除，只需要在Robots里面屏蔽掉就行了

网站每天抓取大量的bootstrap字体404，需要删除吗？怎么删除 悬赏3元 已结束