我在robots.txt中写的是Disallow: /*.aspx$，但是好像还是抓取，请教一下该如何写
可能是垃圾蜘蛛在爬取，没事的
<p>你的规则是没错的，访问的应该是一些垃圾搜索引擎，这个在上线的时候就直接屏蔽了</p><p><br></p><p>一般网站都会用防火前屏蔽PHP、asp以及txt，然后把用得到的开放URL，比如TXT地图</p><p><br></p><p>你可以把那个ip去百度查，看看是哪的，分析日志工具建议你用金花站长工具，比较详细，</p><p><br></p>
有的时候百度是无视你的要求
Disallow: /*.asp$
检测下Robots是否生效；
百度站长抓取诊断，诊断下，输入这个URL还是会被抓取吗，抓取诊断检测下；
Disallow: /asp
让更多人参与回答
