搜外网>搜外问答>问答页面

被加入robots做屏蔽的栏目为啥还能有新的文章收录勒

微信

网站被挂马了，集中在一个栏目里面出来其他文章收录。然后把这个栏目加入robots文件做屏蔽，可是为啥这个栏目下还会有新的文章被收录？？？？是robots文件没起作用吗

Robots 文章举报 本帖由用户发布，如有侵权联系删除 2021-03-26 发布594 次浏览

4 人参与回答

梦史

现在Robots没什么作用了

坤知Seo

蜘蛛比较喜欢那个栏目的内容，所以直接无视Robots

不养猫

应该是没写好

副业教程 · 免费分享自媒体,抖音带货,闲鱼，seo，短视频,剪切视频等一系列课程

Robots规则没有问题的话，我觉得可能以下情况：
1、蜘蛛还没有抓取到Robots
2、蜘蛛不遵守规则（这个可能性比较小）
3、Robots需要调整，一般屏蔽全站，该规则可以放在最前端（也就是重要的放前面）。

收录宝