搜外网>搜外问答>问答页面

网站改版期间把robots.txt关闭,会不会影响网站复通之后的抓取?

网站改版期间把robots.txt设置为:

User-agent: *

Disallow: /

时间久了,百度会不会产生一种习惯?即使网站复通了,它也不来抓取?

追加问题
    7 人参与回答

屏蔽不需要抓取的

搜外用户
搜外用户 · 来搜外学习的一名普通用户

后期在打开,不懂

maybe..
maybe · 十安知识网

网站在整改期间,建议到百度站长后台提交闭站保护

如果关闭Robots.txt, 后期在打开 百度蜘蛛抓取只是时间问题,对站本身没其他影响

灵猫优化
灵猫优化 · 长期高价收购古董古玩古钱币 →→→→→→→→→→→→→→→→→→→→→→→点→→→→→→→这→→→→→→→里→→→→

不懂,你设置屏蔽整站怎么抓取?

SEO培训招生中
188