网站添加robots后,出现的怪异现象,求大神解密。

网站是做 1元夺宝的,网址为: .zsyg58.com,网站功能不完全,且之前360收录了300多个页面框架页面,里面没有具体的内容,只是一个框架,链接地址是不一样的,这些不同地址的框架页面要如何去掉?如图,是没加robots之前的360收录截图。

<div class="aw-comment-upload-img-list active">
<a href="http://ask.seowhy.com/uploads/questions/20161114/b0774fdddf7b3fef5f786180eb71b36a.png" target="_blank" data-fancybox-group="thumb" rel="lightbox"><img src="http://ask.seowhy.com/uploads/questions/20161114/b0774fdddf7b3fef5f786180eb71b36a.png" class="img-polaroid" title="" alt="" /></a>
</div>

不想让搜索引擎爬取网站,网站上个星期二加了robots,因为外包公司要把收录的框架链接地址提交给他,才能删除框架页面,所以现在禁止除了360以外的所以蜘蛛爬行,因为360收录网站最快,如图

<div class="aw-comment-upload-img-list active">
<a href="http://ask.seowhy.com/uploads/questions/20161114/a9b0e73fcd41779d065f69ddd7115c93.png" target="_blank" data-fancybox-group="thumb" rel="lightbox"><img src="http://ask.seowhy.com/uploads/questions/20161114/a9b0e73fcd41779d065f69ddd7115c93.png" class="img-polaroid" title="" alt="" /></a>
</div>

现在的问题是加了代码后百度搜索引擎的收录反而比没加robots之前收录的更多了,而且网站首页没有显示由于此网站的 robots限制,系统无法提供该页面的具体描述,如图

<div class="aw-comment-upload-img-list active">
<a href="http://ask.seowhy.com/uploads/questions/20161114/f827dedacb14d0d23d55b88b1b6956c1.png" target="_blank" data-fancybox-group="thumb" rel="lightbox"><img src="http://ask.seowhy.com/uploads/questions/20161114/f827dedacb14d0d23d55b88b1b6956c1.png" class="img-polaroid" title="" alt="" /></a>
</div>

360搜索引擎就出现了两个版本,一个是加了robots显示的版本,还有一个是没加robots显示的版本,如图

<div class="aw-comment-upload-img-list active">
<a href="http://ask.seowhy.com/uploads/questions/20161114/2cf0936d2494660fca31e9f672ed6239.png" target="_blank" data-fancybox-group="thumb" rel="lightbox"><img src="http://ask.seowhy.com/uploads/questions/20161114/2cf0936d2494660fca31e9f672ed6239.png" class="img-polaroid" title="" alt="" /></a>
</div>

我要解决的问题:
1.如何去除300多个被收录的框架内容,我的意见是删除掉所有被收录的链接做404页面,但是也有说不要删除,只要替换下链接内容就可以了,如何做会更好?
2. 为何百度不出现robots指令,是还没反应过来?网站11.14收录比没加robots之前还多,是什么原因造成的?
3. 360搜索引擎为何会出现两个结果,一个是加了robots的,一个是没加robots的结果。

追加问题
分享到微信 收藏
    1 人参与回答
柳海
柳海 · 80后,SEO/SEM爱好者,V信:hai-world

1.只限定360蜘蛛了,为什么后面又添加禁止所有搜索引擎蜘蛛了呢?
2.因为你的Robots文件书写有误,导致搜索引擎无法准确判断。
3.出现两个结果看下快照日期。