网站添加robots后,出现的怪异现象,求大神解密。

网站是做 1元夺宝的,网址为: .zsyg58.com,网站功能不完全,且之前360收录了300多个页面框架页面,里面没有具体的内容,只是一个框架,链接地址是不一样的,这些不同地址的框架页面要如何去掉?如图,是没加robots之前的360收录截图。






不想让搜索引擎爬取网站,网站上个星期二加了robots,因为外包公司要把收录的框架链接地址提交给他,才能删除框架页面,所以现在禁止除了360以外的所以蜘蛛爬行,因为360收录网站最快,如图






现在的问题是加了代码后百度搜索引擎的收录反而比没加robots之前收录的更多了,而且网站首页没有显示由于此网站的 robots限制,系统无法提供该页面的具体描述,如图





360搜索引擎就出现了两个版本,一个是加了robots显示的版本,还有一个是没加robots显示的版本,如图





我要解决的问题:
1.如何去除300多个被收录的框架内容,我的意见是删除掉所有被收录的链接做404页面,但是也有说不要删除,只要替换下链接内容就可以了,如何做会更好?
2. 为何百度不出现robots指令,是还没反应过来?网站11.14收录比没加robots之前还多,是什么原因造成的?
3. 360搜索引擎为何会出现两个结果,一个是加了robots的,一个是没加robots的结果。
关注 收藏
柳海 · 80后,SEO/SEM爱好者,V信:hai-world
1.只限定360蜘蛛了,为什么后面又添加禁止所有搜索引擎蜘蛛了呢?
2.因为你的robots文件书写有误,导致搜索引擎无法准确判断。
3.出现两个结果看下快照日期。