搜外网>搜外问答>问答页面

robots都设置了不让蜘蛛来爬,为什么这些蜘蛛还要来爬?

追加问题
    3 人参与回答
青争一青争
青争一青争 · 专业生产各种型号有机肥设备_有机肥生产线_掺混肥生产线_支持定做:13838362254

一般只要Robots封禁成功,抓取诊断会提示不能抓取

去伪静态设置封禁垃圾蜘蛛试试

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、Robots已封禁,也测试不能抓取,现在还抓取的也不是真的蜘蛛;
2、真假蜘蛛可以判断下,一般只要robots封禁成功,抓取诊断也会提示不能抓取。

SEO培训招生中
188