搜外网>搜外问答>问答页面

robots我明明已经禁止red前缀的链接,百度为啥还收录 悬赏1元 已结束

robots我明明已经禁止red前缀的链接,百度为啥还收录??还有我检查robots也是正常正确的。


追加问题
    15 人参与回答

都是之前抓取的,你刚设置人家早都抓取了

小鱼
小鱼 · 苏州微信小程序,微商城,微信公众号,软件定制开发,拥有十几年的开发经验!

这是被黑了吧

修改之前的吧

y

这个要看你是收录前屏蔽的还是之后屏蔽的

有时候你屏蔽了是照样会抓取的

之前的缓存吧

滴答滴答
滴答滴答 · 冷却塔厂家特菱空调交换友链ing~~~

之前已经抓取了你后修改的文件吧~可以做跳转试试

三九问答
三九问答 · 一个有问答就会有答案的网站

这个是之前抓取的,删除后做个404

申虎包装-杨敏
申虎包装- · 上海厂家直供装盒机、灌装机、封口机、封尾机、旋盖机

Robots的之前抓取过收录过的肯定还有,需要你做成404

站点被挂马了,解决一下

天朋
天朋 · 入行7年,企业站,建站,百度谷歌seo,sem,电商运营

可能你那个快照时间是去年的,没更新。

那个链接如果是死链就提交申请删除快照

松康环保
松康环保 · 专业生产环保斜管填料、污水处理药剂等 需要加 V 1 31 750 10 76 6

你这被黑了很久了啊这是

接入支付
接入支付 · 个人网站接入收付款功能

还用说站点被黑了

是不是还没生效 或者是之前收录的

推推蛙
推推蛙 · 擅长SEOSEM网站诊断、方案编写、优化运维。微信:tuituiwaseo

1、你屏蔽了,有无Robots哪里检测下,看看蜘蛛是否还是能抓取;

2、有的时候即使屏蔽了,但是蜘蛛已抓取索引,后期还是会放出收录,最根本的问题并未解决;

3、这些页面URL返回码是否是200正常码,蜘蛛模拟爬行是否还能爬行,如果是那么你的设置也并未生效;

4、正常的是做好网站安全,不存在的页面返回码404,做死链提交删除,这样这些垃圾页面才能被删除。

ps:快照更新,蜘蛛来访抓取会主动更新的,这个无需担忧,当前pc端页面暂属无效收录,不参与排名展现

SEO培训招生中
156