<p>robots我明明已经禁止red前缀的链接,百度为啥还收录??还有我检查robots也是正常正确的。</p><p><br></p>
1、你屏蔽了,有无Robots哪里检测下,看看蜘蛛是否还是能抓取;
2、有的时候即使屏蔽了,但是蜘蛛已抓取索引,后期还是会放出收录,最根本的问题并未解决;
3、这些页面URL返回码是否是200正常码,蜘蛛模拟爬行是否还能爬行,如果是那么你的设置也并未生效;
4、正常的是做好网站安全,不存在的页面返回码404,做死链提交删除,这样这些垃圾页面才能被删除。
ps:快照更新,蜘蛛来访抓取会主动更新的,这个无需担忧,当前pc端页面暂属无效收录,不参与排名展现
都是之前抓取的,你刚设置人家早都抓取了
这是被黑了吧
修改之前的吧
这个要看你是收录前屏蔽的还是之后屏蔽的
有时候你屏蔽了是照样会抓取的
之前的缓存吧
之前已经抓取了你后修改的文件吧~可以做跳转试试
这个是之前抓取的,删除后做个404吧
才Robots的之前抓取过收录过的肯定还有,需要你做成404
站点被挂马了,解决一下
可能你那个快照时间是去年的,没更新。
那个链接如果是死链就提交申请删除快照
你这被黑了很久了啊这是
还用说站点被黑了
是不是还没生效 或者是之前收录的
让更多人参与回答