700
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
699
浏览
大家帮我看看我的robots.txt有没有问题 Robots Site Sitemap
大家帮我看看我的robots.txt有没有问题User-agent: *Disallow:Sitemap: https://www.sclmbh.com/sitemaps.txtUser-agent: MJ12botDisallow: /……
697
浏览
关于robots文件屏蔽链接的写法，帮忙看看 Robots
请问大家，这样是不让蜘蛛抓取DEF文件夹内容，ABC文件夹不受影响。对吧User-agent: *Disallow: /ABC/DEF/……
694
浏览
robots文件屏蔽的栏目，搜索引擎还是去抓取，怎么办？ Robots 404 索引
robots.txt 写了不让爬某栏目 结果它还是去爬 还404 有啥办法啊?
692
浏览
网站收录域名后面被加了一下参数 请问是怎么回事 网站收录 Robots
<p></p><p><br></p><p>首页被加了很多不同参数被收录了 不知道怎么回事 请问要怎么处理 robots里已经禁止/?*的抓取了 </p>……
691
浏览
691
浏览
移动端如何写robots文件 Robots 移动端
移动端的robots也跟pc端的一样么？
689
浏览
robots设置，你们都是怎么设置的，需要让蜘蛛抓取哪些 Robots
robots设置，你们都是怎么设置的，需要让蜘蛛抓取哪些
688
浏览
Robots1处错误是什么意思？ Robots
<p></p>
686
浏览
685
浏览
robots设置只抓取指定目录和首页 Robots 百度蜘蛛
虽然百度识别出了都是无效页面，但大量的抓取严重影响了服务器性能，因此通过robots设置只允许百度蜘蛛抓取指定的目录和首页，来解决这个问题。……
684
浏览
robots文本如何屏蔽带?结尾的链接，怎么编写？ Robots
<p><br></p>
684
浏览
求助！！！问题描述如下 Robots
现有网站www.abc.com，登陆页为account.abc.com/login?_ag=1234，登陆页为动态，如何书写www.abc.com的robots文件呢？……
679
浏览
679
浏览
百度站长工具的Robots不能用了吗 Robots 站长工具
百度站长工具的Robots不能用了吗？显示“请求失败，我们已记录此问题并将尽快处理，请刷新页面或稍后再试。”……
677
浏览
网站管理后台路径要不要写进robots.txt？ Robots
网站后台路径要不要写进robots.txt？不写进去，搜索乱爬，写进去，等于公之于众。
675
浏览
404需要在robots文件中屏蔽吗？ Robots 404
看了下网站日志，百度老去抓取404页面，需要在robots文件里面屏蔽吗？今天流量直接无征兆滑铁卢了，救命……
674
浏览
673
浏览
robots了整个网站，怎么才能把首页也从结果页中删除？ Robots 淘宝
<p>像淘宝一样，我网站现在也是这样的情况，怎么样把这个结果删除掉直接就删除掉不显示</p><p><br></p>……
672
浏览
671
浏览
到底哪些是不想被抓取的页面，都有哪些呢？ Robots 索引
robots屏蔽问题我一直不解，可能是因为我不会设置robots.txt文件的原因。其他人都说可以用robots去屏蔽不想被搜索引擎抓取的页面，但我很迷糊，到底哪些是不想被抓取的页面，都有哪些呢？求告知，我也希望自己能够提升这块的操作能力。……
670
浏览
频繁更改robots，会导致降权吗？ Robots
如果一个月调整了两次robots文件，会有什么影响？
670
浏览
正常网站用百度资源Robots监测提示404怎么办？ Robots 404
<p>网站访问没问题，而且用百度资源“抓取诊断”也正常。</p><p>但是，百度资源“Robots”监测提示：您的服务器配置有误，百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常……
669
浏览
robots文件怎么弄？ Robots 404
服务器里没有robots文件，但蜘蛛经常抓取，导致显示404。没有robots文件可不可以，如果不可以的话，应该怎么设置。……
669
浏览
我在robots.txt中设置了禁止百度收录我网站的内容 Robots 百度收录
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
669
浏览
网站参数空白页面总是被蜘蛛抓取怎么办 Robots PHP
<p>网站参数空白页面总是被蜘蛛抓取，也写了robots了，但还是有蜘蛛挺多抓取这些空白参数页面（返回码200）好像当成了首页（也可能是假蜘蛛），怎么解决？</p><p>/index.php?m=Home……
669
浏览
不写robots.txt文件有什么影响？ Robots
不写robots.txt文件有什么影响？
668
浏览
百度蜘蛛抓取服务器连接超时是几个意思？ Robots 二级域名 同服务器 404
蜘蛛爬取日志全部是404，就连robots文件都是404，请问是什么原因另外，我的站有除了www，还有另外一个二级域名，这两个二级域名都在不同服务器上，我的在这两个域名下我都设置了robos文件，就是说我有两个robots，这样是否可以？……
668
浏览
请教一个社交站点SEO优化及url设置问题 Robots 同IP SEO优化 索引
主站商城A，在做个网站B，B仅做目录页面，将目录页中的产品链接到相应A中的产品页面。社交网站中一个账号只能一个域名，现在注册10个不同的域名，分别做301，这样社交中的链接点击后先到B，客户再点击产品后导到主站A。如果A和B放在同一服务器下……
667
浏览
百度蜘蛛无法对网站正常索引爬行? Robots 百度蜘蛛 索引
百度蜘蛛无法对网站正常索引爬行，抓取诊断显示“未解析到IP或有Robots封禁 ”我的网站屏蔽蜘蛛三天之后又重新开启了，但是百度蜘蛛都不来网站爬行，后台使用抓取诊断显示“未解析到IP或有Robots封禁 ”，robots文件检测也没有问题，……
666
浏览
网站首页总间隔一段时间就收录消失，是什么情况？ Robots 友情链接 排名
站首页收录总是隔段时间就消失一回，并没有做改动，也符合搜索算法内容,robots.txt检查没问题，服务器稳定，全站排名稳定，友情链接没问题，只有首页隔段时间就不收录了。。请问，这样是什么原因呢？……
665
浏览
664
浏览
robots.txt文件怎么写比较好，请大神分享一下 Robots
robots.txt文件怎么写比较好，请大神分享一下，http://www.puai999.com/
663
浏览
robots阻止抓取死链有效吗 Robots 百度蜘蛛
死链目录放到robots里面了 为什么还有百度蜘蛛来爬
662
浏览
网站已提交死链后是否还需要设置robots？ Robots
网站已提交死链后是否还需要设置robots？
661
浏览
网站地图的txt格式放robots里有用吗？ Robots
网站地图的txt格式放robots里有用吗？
660
浏览
网站Robots协议没有禁止蜘蛛抓取为什么蜘蛛不来？ Robots
网站蜘蛛长时间不来了，我查看了也没有禁止蜘蛛抓取，可蜘蛛就是不来网站了，为什么就不来网站抓取内容了？网站究竟哪里问题导致蜘蛛不来了，服务器稳定我也每天提交链接百度，有哪里不对呢？……
