<p><br></p>
1、百度站长抓取有无异常,无异常不影响;
2、对于一些网页字体文件,可Robots屏蔽抓取这些文件;
3、除了网页文件,想要被抓取爬行收录的不能屏蔽外,其余的如果蜘蛛抓取频次太多,可考虑屏蔽。
4、网站也有自动生成robots屏蔽文件,注意不要屏蔽整站,例如屏蔽skin文件下的fonts文件
Disallow: /skin/fonts
5、上传robots.txt到根目录即可,里面内容就是写你需要屏蔽内容;
6、如果你的里面根本没这些文件,那么不影响,只要百度站长抓取无异常就可以。真的蜘蛛爬也是抓取有的东西,只有模拟的才会抓取不存在的文件。
没关系的
好吧,不是很懂,进来学习学习
很棒阿这个
404都不是好事,要么屏蔽,要么处理一下呗。
你的情况和我的情况一模一样 我被抓的也是很多的垃圾路径然后返回的全部都是404 我在FTP中找都找不到文件的
我网站也存在这样的情况,通过实际链接进行查找,其实这个文件是存在的,正常这种情况要不然就是不管,如果需要处理就直接在根目录的Robots.txt文件里添加一句: Disallow: /skin/fonts 就OK。。
如果网站没有robots.txt 直接建一个就可以的哈
这样子行不行?
对啊,屏蔽掉不就得了
不需要删除,只需要在Robots里面屏蔽掉就行了
让更多人参与回答