搜外网>搜外问答>问答页面

robots整站禁抓，为啥抓取诊断中抓取首页成功呢？

微信

这是咋回事呢

Robots 举报 本帖由用户发布，如有侵权联系删除 2021-01-04 发布778 次浏览

11 人参与回答

微笑

你这抓取只是链接的正常抓取，链接路径正常抓取肯定会反馈正常啊

XIWEN

你这抓取是判断链接能不能抓取，这个链接是否正常，禁止整站是蜘蛛不会爬取你的整个网站了。

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、Robots禁止整站抓取，首页不会被索引放出收录，这个想法是错误的；

2、不被抓取也可能被索引（收录），淘宝也屏蔽了整站，但是首页还是被放出收录；

3、你的网站屏蔽了整站，如果没有外链、友情链接这些，或许不收录，但是有，搜索引擎会从这些渠道获取你的URL和标题来放出收录；

4、如果不想放出索引和收录，一般建议是不上线即可；

5、robots不能阻止页面被放出收录，但是可以阻止被搜索引擎索引；

6、robots整站这个操作，后期恢复周期也很长，如果不想被收录，不解析上线即可，如果操作了robots整站，后期的影响也是很长一段周期。

针对提及的问题，也可以百度站长咨询，他们应该会有官方的回复吧。

主动提交和被动抓取是一个概念吗

收录宝