搜外网>搜外问答>问答页面

robots屏蔽抓取后,修改地址后,相似路径是否会屏蔽?

网站上线后设了robots全站屏蔽.在大概第7天,把www.xxx.com/html/abc,中间那一层的html去掉,现在的链接是www.xxx.com/abc.因为不是在上传到空间之前就把/html这层去掉。

请问下,到时候robots让抓取之后,会不会出现html和没有html都被抓取收录。如果出现这种情况的话,应该如何处理?

追加问题
    3 人参与回答
老表哥财税
老表哥财税 · 提供代理记账 公司注册 公司注销 税务筹划 建筑资质代办

不会,Robots只会屏蔽里面所写的链接,不会自动识别相似链接。

蒋元红
蒋元红 · 域名交易平台 efa.wang

比担心封禁问题了,本身百度蜘蛛抓取就慢,封禁7天后,还不知道得多久来抓呢

丰县目录网
丰县目录网 · 丰县目录网欢迎大家提交www。fxlyxxw。cn

这个不会的,放心

SEO培训招生中
158