16 人参与回答
最佳回答
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、百度站长抓取有无异常,无异常不影响;

2、对于一些网页字体文件,可Robots屏蔽抓取这些文件;

3、除了网页文件,想要被抓取爬行收录的不能屏蔽外,其余的如果蜘蛛抓取频次太多,可考虑屏蔽。

4、网站也有自动生成robots屏蔽文件,注意不要屏蔽整站,例如屏蔽skin文件下的fonts文件

Disallow: /skin/fonts

5、上传robots.txt到根目录即可,里面内容就是写你需要屏蔽内容;

6、如果你的里面根本没这些文件,那么不影响,只要百度站长抓取无异常就可以。真的蜘蛛爬也是抓取有的东西,只有模拟的才会抓取不存在的文件。

没关系的

金泰福
金泰福 · 西安金泰福进口越野车、商务车、房车等!

好吧,不是很懂,进来学习学习

爱你
爱你 · 个人擅长百度贴吧霸屏+百度文库外链+seo优化

很棒阿这个

科
· 网站建设/SEO咨询/软件开发

404都不是好事,要么屏蔽,要么处理一下呗。

你的情况和我的情况一模一样 我被抓的也是很多的垃圾路径然后返回的全部都是404 我在FTP中找都找不到文件的

百度vs梦想
百度vs梦 · 擅长百度优化,网站搜索营销及网站优化分析 Q305114474

我网站也存在这样的情况,通过实际链接进行查找,其实这个文件是存在的,正常这种情况要不然就是不管,如果需要处理就直接在根目录Robots.txt文件里添加一句: Disallow: /skin/fonts  就OK。。

如果网站没有robots.txt 直接建一个就可以的哈

單
· 换友链www。jshlpower。com

1606531800(1)

这样子行不行?

胡汉三
胡汉三 · 上海沈泉泵阀公司

对啊,屏蔽掉不就得了

路人
路人 · seo小学生

不需要删除,只需要在Robots里面屏蔽掉就行了

加载更多