网站改版的时候加了robots.txt协议,禁止所有蜘蛛住区,但是现在放开之后,百度site之后的结果还是限制被robots.txt禁止抓取。是什么原因?
网络营销培训视频课程学习http://www.jiangcaikj.com
其实也没有了,只是百度还没有完全反应过来,需要时间的,我网站就是一样,优选网
等几天就行了。 深圳smt贴片加工 收录243 同行业的换链接呀。
等时间吧,这个百度要反应一下
在百度站长的后台,Robots文件里,测试抓取就知道了。抓取成功那就证明没问题。就是百度后台对你网站展现的更新比较慢而已。
感觉没有什么用
? 吧,渣渣百度蜘蛛,不遵守的,都屏蔽了天天抓,抓尼玛一个月了
需要时间吧,或者可以去提交一下
百度没反应过来,过段时间再观察试试
让更多人参与回答