搜外网>搜外问答>问答页面

如果用robots.txt屏蔽所有后缀为aspx的文件悬赏1元已结束

微信

我在robots.txt中写的是Disallow: /*.aspx$，但是好像还是抓取，请教一下该如何写

Robots 举报 本帖由用户发布，如有侵权联系删除 2020-06-13 发布1,453 次浏览

11 人参与回答

权重蜘蛛-池出租等 1 人赞同该回答

可能是垃圾蜘蛛在爬取，没事的

Viky · 八年多的SEO老司机

权重蜘蛛-池出租等 1 人赞同该回答

你的规则是没错的，访问的应该是一些垃圾搜索引擎，这个在上线的时候就直接屏蔽了 一般网站都会用防火前屏蔽PHP、asp以及txt，然后把用得到的开放URL，比如TXT地图 你可以把那个ip去百度查，看看是哪的，分析日志工具建议你用金花站长工具，比较详细，

吉他大象

权重蜘蛛-池出租等 1 人赞同该回答

有的时候百度是无视你的要求

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

权重蜘蛛-池出租等 1 人赞同该回答

Disallow: /*.asp$

检测下Robots是否生效；

百度站长抓取诊断，诊断下，输入这个URL还是会被抓取吗，抓取诊断检测下；

猪猪侠

权重蜘蛛-池出租等 1 人赞同该回答

Disallow: /asp

收录宝