请大家一起来看看这个问题! 悬赏3元 已结束
今天 在交换友情链接的时候发现对方网站中robots.txt文件存在一个问题,里面的内容如下:
User-agent: *
Disallow: /gb.php
Disallow: /gb2.php
Disallow: /parse.php
Disallow: /parse2.php
Disallow: /parse_friends.php
Disallow: /parse_multi.php
Disallow: /parse_pwds.php
Disallow: /parse_space.php
Disallow: /downparse.php
Disallow: /xdown.php
Disallow: /
前面的我感觉没什么问题,但是最后一个Disallow: /
1、这个与上面的条件是不是重复了呢,既然禁止了所有的蜘蛛进行访问,那为什么还要在前面设立其他的条件呢?
2、这个对友情链接会有什么影响吗?是否能够交换呢?
求各位大神帮忙解答一下,万分感谢。
7 人参与回答
最佳回答
Disallow: /
据我所知这条是屏蔽全站的呀!
有了这一条他的网站就不会被抓取了呀!
楼上那些人怎么回事呀!
粗略一看,楼上各位都是没影响的,不过个人看来还是影响较为严重的,Disallow: / 首页被禁止抓取了,请问,换友链,对我有什么作用吗? 换友链的最主要的作用就没了啊!
楼主,建议把他的链接删掉吧!