搜外网>搜外问答>问答页面

robots整站禁抓,为啥抓取诊断中抓取首页成功呢?

<p><br></p><p>这是咋回事呢 </p>

追加问题
    11 人参与回答

你这抓取 只是链接的正常抓取,链接路径正常抓取肯定会反馈正常啊

你这抓取是判断链接能不能抓取,这个链接是否正常,禁止整站是蜘蛛不会爬取你的整个网站了。

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、Robots禁止整站抓取,首页不会被索引放出收录,这个想法是错误的;

2、不被抓取也可能被索引(收录),淘宝也屏蔽了整站,但是首页还是被放出收录;

3、你的网站屏蔽了整站,如果没有外链、友情链接这些,或许不收录,但是有,搜索引擎会从这些渠道获取你的URL和标题来放出收录;

4、如果不想放出索引和收录,一般建议是不上线即可;

5、robots不能阻止页面被放出收录,但是可以阻止被搜索引擎索引;

6、robots整站这个操作,后期恢复周期也很长,如果不想被收录,不解析上线即可,如果操作了robots整站,后期的影响也是很长一段周期。

针对提及的问题,也可以百度站长咨询,他们应该会有官方的回复吧。

主动提交和被动抓取是一个概念吗

SEO培训招生中
188