11 人参与回答

可能是垃圾蜘蛛在爬取,没事的

V
Viky · 八年多的SEO老司机

你的规则是没错的,访问的应该是一些垃圾搜索引擎,这个在上线的时候就直接屏蔽了

QQ截图20200613131542

一般网站都会用防火前屏蔽PHP、asp以及txt,然后把用得到的开放URL,比如TXT地图

QQ截图20200613131629

你可以把那个ip去百度查,看看是哪的,分析日志工具建议你用金花站长工具,比较详细,

QQ截图20200613132205

有的时候百度是无视你的要求 

推推蛙
推推蛙 · 推推蛙擅长SEO网站优化、竞价账户调整、网站建设、全网优化、新媒体营销、品牌策划
Disallow: /*.asp$

检测下Robots是否生效;

百度站长抓取诊断,诊断下,输入这个URL还是会被抓取吗,抓取诊断检测下;


Disallow: /asp

SEO培训招生中
147