robots文件已禁止百度抓取部分目录 但还是抓

近几日分析网站日志,robots文件已禁止百度抓取部分目录,但还是抓的很厉害。
望大神指点指点。。。@@www.benpaoba.com@@

追加问题
    3 人参与回答
郭果
郭果 · 多渠道推广,不管是花钱的免费的,效果为王。.QQ 1449024418
廖先武 等 1 人赞同该回答

很难被禁止,只能想办法减少抓取,你Robots里面禁止了,但网页代码里面还是很多的,特别是头部,蜘蛛一开始就是先抓取了这部分内容,所以抓取比例还是很高。想办法合并 放置页面底部可以减少抓取。

乘风
乘风 · 好好学习,天天向上!

百度是很遵守Robots规则的,你先检查下百度在这段时间有没有爬取robots.txt文件。

百度是很遵守Robots规则的,你先检查下百度在这段时间有没有爬取robots.txt文件。