搜外网>搜外问答>问答页面

Robots文本已经设置了禁止抓取带?的动态链接,为什么检测还是200的正常状态?

<p></p>

追加问题
    3 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM网站诊断、方案编写、优化运维。微信:tuituiwaseo
博扬智能 等 1 人赞同该回答

1、Robots设置禁止,你屏蔽蜘蛛抓取,是去robots哪里去检测是否封禁蜘蛛爬行;
2、你查的是网页返回码,正常的页面返回码200没有问题。

用插件试一下

可乐
可乐 · 电气防爆检测

先检查Robots是不是写错了,这个爬虫遵不遵循robots规则,然后你这个状态返回码200是说明页面能够正常打开吧

SEO培训招生中
179