1004
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
998
浏览
网站首页收录，但是加上“/”就不收录，是怎么回事，昨天刚改了robots文件，跟这个有关系吗 Robots 排名
<p><br></p><p><br></p><p>今天排名都下降了，哪位帮忙看一下是什么原因</p>……
996
浏览
robots文件要怎么写才合适 Robots
922电影http://www.922dy.cc/
996
浏览
百度站长工具robots校检的时候一直出现错误 Robots 站长工具 百度站长工具
<p><br></p><p>是不是都是这样的 </p>
996
浏览
网站收录了很多404页面及没有内容的文章页，但正常页面收录少怎么处理？ Robots 404 文章
网站www.sresky.com/改版后，出现很多404页面，提交了死链，但没用。然后在robots文件加了Disallow:，但仍旧没用，请教各位大神，1、如何让百度不收录404页面？2、没有内容的文章页该如何屏蔽掉？……
995
浏览
咨询一下站内文章移动问题 Robots 文章
我们有个站的栏目在首页有显示，但在robots里是禁抓取的，而也没有收录过，那么我是不是可以从直接移动文章到其他栏目上？……
994
浏览
robots.txt文件怎么写？ Robots
robots.txt文件怎么写？robots.txt主要写哪些东西？
994
浏览
网站设置了robots禁止抓取，为什么还能抓取到？ Robots
网站设置了robots禁止抓取，为什么还能抓取到？
992
浏览
网站没有robots文件，搜索结果却显示存在robots文件限制指令 Robots 301跳转 跳转
<p>网站www.qianxiquan.com</p><p>带www，和不带www的快照的内容显示不一样，另外带www的网站显示robots限制。</p><p>也做301跳转了，将……
992
浏览
请问你们有百度资源平台robots文件无法更新的情况吗？ Robots 百度资源平台
<p></p>
990
浏览
为什么百度只收录了网站首页？快照也不更新？ Robots 百度收录 快照不更新 只收录首页
自己做了一个关于养生的网站，上线一个月左右，百度收录了网站首页。之后我每天连续发文，已经过了10天，出现两个问题：1、首页快照不更新。2、网站只收录首页，内页一篇都没收录。请问是我网站(www.regimen.live)哪里设置出了问题吗？……
989
浏览
谷歌搜索网站名称显示没有此网页信息，按谷歌教程说有可能被robots屏蔽？ Robots
<p>谷歌搜索网站名称显示没有此网页信息。</p><p><br>然后按谷歌教程查找原因，说有可能被robots屏蔽了，下面是我网站的robots文件截图，请教大家是不是被robots文件屏蔽了……
988
浏览
网站百度快照抓取不到CSS样式，怎么修改？ Robots 百度快照
<p><br></p><p><br></p><p>robots文件也没有限制抓取，但是抓取不到CSS样式，是百度的问题还是网站的问题</p>……
988
浏览
现在搜索引擎都不去抓爬robots.txt了吗 Robots 网站日志 搜狗
访问了四个网站几天的网站日志，但都没发现百度、360、搜狗这些搜索引擎有爬取robots.txt的痕迹，现在都不抓爬了？……
986
浏览
大家网站的robots.txt的文件都是这么设置的呢？ Robots
有没有特定的格式
986
浏览
robots整站禁抓，为啥抓取诊断中抓取首页成功呢？ Robots
<p><br></p><p>这是咋回事呢 </p>
985
浏览
这种情况，可以在robots文件里面写屏蔽吗？应该怎么写啊 Robots
<p></p>
985
浏览
大佬们我网站的tdk做的有什么毛病吗？ Robots
www.btbbkj.com 还有希望大佬们帮我分析一下我网站的robots文件，tdk有什么毛病，非常感谢
982
浏览
robots写法疑问 Robots
（目的 是只禁止/html/BaoJia.html页面）这样写： Disallow: /html/BaoJia.html 后是否还需要添加Allow: /html/……
981
浏览
新站上线之前需要做哪些优化？ Robots 404页面 404 SEO优化
总结一下：目前做的优化 一、 网站地图添加二、robots 添加，三、404页面设置四、三大标签已设置五、百度站长提交【百度统计没装】问： 还需要做哪些优化呢，站点：成都seo优化：www.tusijm.cn……
980
浏览
百度蜘蛛每天就是来访问一下robots文件，不爬取网页 Robots 增加收录 百度蜘蛛
百度蜘蛛每天就是来访问一下robots文件，不爬取网页。谷歌一直在增加收录量，百度却一两个月了，一直就只收录了首页，其他页面不收。http://www.butterpig.top 每天都来访问一下robots就走了，这是在搞啥呢……
980
浏览
robots文件限制百度抓取.会导致收录掉吗？ Robots
7月2日robots文件禁止抓取,当天修改后到今天7月6日都是抓取错误.应该是百度的缓存,但是在这几天百度给我收录全部掉了！你们有没有这么个情况？……
978
浏览
写了robots怎么还是被百度抓取收录了？ Robots
这个百度是有bug，写了robots怎么还是被百度抓取收录了？
978
浏览
Robots监测不到，服务器配置有误，怎么解决啊？ Robots
您的服务器配置有误百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：302……
975
浏览
项融科技新建的网站不收录，有大神指出了原因但没有说怎么修改 Robots 网站不收录 代码 跳转
<p><br></p><p>如上图，项融科技pos机网址：www.xrkjpos.com，建站3个月不收录，结果有好心的网友发现了三个问题，</p><p>1.网站首页代……
972
浏览
云客多上海网站优化：网站改版后是否会掉排名呢？ Robots 404 排名
其实网站改版和掉排名并没有必然的关系，在不更改域名的情况下，对网站版面重新设计排版，增加用户体验度。伴随改版而来的网站链接的变更，下面云客多小编介绍下需要重点考虑的问题。 一、网站日志分析 网站在改版后，需要每天关注新网站的动态……
970
浏览
DZ论坛屏蔽动态链接可以吗？ Robots PHP 文章 静态
我的网站一个文章收录了俩。。一个是动态的，一个是伪静态。可以把动态链接用robots屏蔽吗？具体应该是 Disallow: / /forum.php?mod=viewthread&tid=* 这样可以把？这是动态的，我设置伪静……
968
浏览
新站计划上线，还没修改完成，是闭站还是robots屏蔽 Robots 备案
新站计划上线，还没修改完成，但是近期在查备案怕被查关备案号，打算上个单页，是闭站还是robots屏蔽收录……
967
浏览
百度蜘蛛就只抓robots咋回事？ Robots 百度蜘蛛
<p>每天来一下，就抓下主页，抓几下robots，就收录了主页，内页没收，每天就对着robots一顿抓，是协议写的有问</p><p>题吗，大佬帮忙给看看</p>……
965
浏览
robots写法问题 Robots
/gallery--n,123-grid.html /gallery--n,abcde-grid.html 要禁止抓取类似的中带逗号的网址robots该怎么写？
965
浏览
robots屏蔽抓取后，修改地址后，相似路径是否会屏蔽？ Robots
网站上线后设了robots全站屏蔽.在大概第7天，把www.xxx.com/html/abc,中间那一层的html去掉,现在的链接是www.xxx.com/abc.因为不是在上传到空间之前就把/html这层去掉。请问下，到时候robots让……
962
浏览
为什么robots中设置了禁止百度收录我网站的内容，为何还出现 Robots 百度收录
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
958
浏览
958
浏览
一个目录下有两千多的页面，但是却没有一个是有排名的，这到底是哪里出错？ Robots 排名
<p>2000多的页面，里面应该也有600多的收录，可问题是一个排名都没有！！！</p><p>这样下去根本就是毫无作用啊！</p><p>大半年都没什么收录了，现在维持也维持不了多久……
958
浏览
如何禁止搜索引擎访问/收录某个页面 Robots Nofollow 索引
网站有几个页面由于重复度太高不想让搜索引擎收录和访问，有什么有效的办法，除了robots和nofollow，还有其他好的办法吗……
957
浏览
robots要不要禁止css和js？发现蜘蛛频繁爬这些文件 Robots JS
www.tengyitieyi.com robots要不要禁止css和js？发现蜘蛛频繁爬这些文件
