关于网站抓取的一些问题。头皮都抓破了

关于网站百度蜘蛛抓取的问题

百度来的蜘蛛90%都在抓取JS、css和图片。真心不知道怎么整了。
下面是这个5天的蜘蛛日志文件截图,用的是爱站工具。

9号





10号





11号





12号





13号





14号



追加问题
    2 人参与回答
叶景 等 1 人赞同该回答

Robots.txt 文件进行屏蔽,也不可以吗?

屏蔽完之后,最好是去站长后台更新一下

要不你大胆一下,修改文件名,看看抓取量下降没有,同时多引导蜘蛛抓取其他的页面。

陈海飞
陈海飞 · 途牛seo工程师,钻研seo4年。。。

牛逼啊,这么多抓取,百度得有多喜欢你的图片儿啊