网站改版时候设置了robots屏蔽搜索引擎抓取,现在取消了还不抓取,怎么办?
之前网站在改版的时候设置了robots屏蔽搜索引擎抓取,中间可能持续了有一个月左右时间,现在网站已经改版完成上线,解除了robots屏蔽;但在百度搜索网址,仍然显示“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述”,这个应该怎么解除?
之前网站在改版的时候设置了robots屏蔽搜索引擎抓取,中间可能持续了有一个月左右时间,现在网站已经改版完成上线,解除了robots屏蔽;但在百度搜索网址,仍然显示“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述”,这个应该怎么解除?