1001
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
996
浏览
网站换了新的服务器之后，过了很久还一直抓取失败，检测了robots文件没有问题 Robots 关键词排名 排名
网站换了服务器过了一周了，显示还是抓取失败，原因是robots文件封禁，但是检测robots文件没有问题了。所有的关键词排名都没有，之前的链接是死链提交了。想知道什么时候才会有抓取成功，正常收录。……
994
浏览
网站不想被谷歌收录，写了robots多长时间可以生效呢？ Robots 谷歌收录
现在有几百个页面被收录，刚写的robots 大概几天可以生效让收录为0？还有其他的要操作吗除了robots 谷歌……
994
浏览
我想问一下robots这样设置对吗 Robots Site Sitemap 404
Disallow:/index.html Disallow: /404.html Disallow: /newOffical/joinus Disallow: /sitemap/
994
浏览
网站robots.txt文件被重定向会影响网站收录吗？ 网站收录 Robots
各位seo大神们，我在搜索资源平台监测网站robots.txt稳健，提示该稳健被重定向了，网站robots.txt文件被重定向会影响网站收录吗？……
993
浏览
网关处加robots文件有效吗？ Robots
网关处加robots文件有效吗？
993
浏览
Robots这东西站长们还有搞吗 Robots
Robots：可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。我好想都没特意去搞过这东西。……
993
浏览
网站长期无变化更新怎么办？ Robots
网站最近一个月时间里，保持稳定正常更新优化，每天也有提交链接到百度，网站服务器稳定没有问题，Robots协议也没有禁止蜘蛛抓取，就是没有收录量增加？……
992
浏览
织梦做的独立m移动站,根目录下的robots屏蔽m二级目录会不会影响移动站 Robots 根目录
织梦做的独立m移动站,网站根目录下的robots中屏蔽掉/m二级目录，会不会影响移动站
992
浏览
网站索引量持续下降，怎么分析原因？ Robots Site 404 排名
<p>当我们提到索引量时，尽量以百度搜索资源平台的索引量为准，而不是百度上直接“site”，site不太准确。<br></p><p>当遇到网站索引量连续多天下降的情况（如下图），该如何分析原因……
991
浏览
robots屏蔽目录抓取，这样写是否正确？ Robots 根目录 索引
我不想让搜索引擎抓取收录网站根目录下english和admin文件夹里面的所有页面，robots.txt的文件这样写对不对？请高手指点一下User-agent: *Disallow: /english/Disallow: /admin/……
989
浏览
robots修改后，百度要多久后更新？ Robots
更新robots.txt 添加了新的禁止抓取目录，百度要多久更新？已经更新robots三周了，之前抓取的动态地址还是没有禁止。……
988
浏览
如何屏蔽已经收录的页面 Robots
想在robots里面屏蔽 plug/comment/?id=59 plug/comment/?id=80 plug/comment/?id=81 这种类似的页面怎么写规则……
987
浏览
如果网站有大量的同内容不同标题的页面，应该怎么处理，网站收录了26w的内容，但是只有1万2左右的索引 网站收录 Robots 索引
如果网站有大量的同内容不同标题的页面，应该怎么处理，网站收录了26w的内容，但是只有1万2左右的索引，并且存在部分标题相同链接不同的问题。这种是删除呢？还是用robots屏蔽掉www.zyktservice.com。麻烦大神们给出出主意……
986
浏览
网站优化时是不是robots.txt必须存在？还是没有这个要求？看了很多网站都存在。 Robots 网站优化
网站优化时是不是robots.txt必须存在？还是没有这个要求？看了很多网站都存在。
984
浏览
网站改版期间把robots.txt关闭，会不会影响网站复通之后的抓取？ Robots 网站改版
网站改版期间把robots.txt设置为：User-agent: * Disallow: /时间久了，百度会不会产生一种习惯？即使网站复通了，它也不来抓取？……
984
浏览
网站上线两个月多几天，百度只收录了首页，然后百度蜘蛛每天只来怕各种js库和robots，为什么不深入 Robots JS
网站上线两个月多几天，百度只收录了首页，然后百度蜘蛛每天只来爬各种js库和robots就走，为什么不深入爬取呢？……
984
浏览
以自动刷新方式更改内容页时间因子算不算作弊？ Robots 排名 文章
<p>某网站的内容页时间因子没有固定在发布日期，而是每被访问一次就自动刷新到当前时间，这样算不算作弊？还是这样有利于优化排名？</p><p><br></p><p>案例：……
984
浏览
百度蜘蛛长时间不来网站怎么处理？ Robots 引蜘蛛 百度蜘蛛
我也检查了robots.txt没有任何问题，没有屏蔽蜘蛛怎么蜘蛛完全不来网站了，长时间未来网站特别担心，是什么原因为什么蜘蛛不来访问网站，一个星期一次蜘蛛的痕迹都没有，究竟怎么回事为什么蜘蛛不来了，有什么办法可以引蜘蛛？……
983
浏览
robots.txt我这么写错了吗？为什么网站2个月了只收录了首页？ Robots Site PHP 404
User-agent: * Disallow: /data/Disallow: /dede/Disallow: /images/Disallow: /include/Disallow: /plus/Disallow: /special/Di……
982
浏览
蜘蛛抓取robots.txt 为什么404 是正常的吗 Robots 404
<p>网站：www.chlbh.cn</p><p></p>
981
浏览
有个网站一直不收录，同时期做的其他网站早收录了 Robots 网站标题
www.syyuga.com抓取诊断，robots确定都没问题，同样的服务器，模板后台都差不多，都是新域名，其他网站都收录了，就这个网站，3个月了一直不收录，不知道什么问题。网站标题：YUGA优伽瑜伽--沈阳瑜伽教练培训|沈阳孕妇瑜伽|沈阳……
980
浏览
978
浏览
怎么设置通过 robots.txt 允许、禁止搜索引擎收录方法？？ Robots 索引
我这个网站的robots文件，这样写会对吗？网站：https://www.icarexm.com/
978
浏览
网站两个月了还只是收录首页，具体怎么回事#(seo)#网站收录# 网站收录 Robots
<p><a href="http://www.sdmynj.com/" target="_blank" data-url="www.sdmynj.com" cla……
977
浏览
网站因为是支持后台的网站，怎么让蜘蛛不要抓取？ Robots
网站www.zyxgjt。Com，是作为其他功能支撑的网站，所以不想让蜘蛛抓取，但是在服务器里写了robots，会跳到其他的内容上，和写的robots文件内容不同，返回服务器里又没有相对的文件。想问一下除了robots还有什么办法能让蜘蛛不……
976
浏览
不是自己的网站发布文章被收录了，这个需要如何的禁止收录呢？ Robots Nofollow 文章
在网上看了很多回答。url+Nofollow和 修改robots.txt。后者是需要自己网站才能这样修改吧？前者怎么做呢？新人不是很明白……
976
浏览
robots经常改收录 会有影响吗？ Robots 索引
改robots,对搜索引擎有影响吗。
975
浏览
关于百度收录存在相同收录的问题。 Robots 百度收录 ajax PHP
<p><br><br></p><p>网站存在相同的收录，这个在程序中没法用301来实现，因为有AJAX的调整用路径也是那个，如果用301可能会出问题。</p><p……
975
浏览
将网站地图写入robots文件中有什么好处？一定要写入吗？ Robots
最近遇到一个纠结的问题，网站地图一定要写入robots文件吗，写入是不是要好一些。
975
浏览
robots该不该屏蔽这个目录？ Robots
我的站点手机版主要使用m.tfw66.com 网站目录绑定的是M/但是我的http://www.tfw66.com/m/ 也是手机端。 这个目录是否需要robots 屏蔽掉蜘蛛的抓取？设置了是否冲突？应该如何处理？……
974
浏览
974
浏览
新网站上线后，首页被收录，但是提示robots不对 Robots
<p></p>
974
浏览
robots怎么查，大神们帮看下我的网站加robots了吗 Robots
https://chaojibao.com.cn/
973
浏览
各位大神帮我看下 我的Robots文件设置有没有错误 Robots PHP JS
各位大神帮我看下 我的Robots文件设置有没有错误 域名www.shangphd.com文件如下：User-agent: * Disallow: /plus/ad_js.php Disallow: /plus/advancedsearc……
973
浏览
搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？ Robots 搜狗 排名
<p>搜狗的指数那么大，怎么就没有排名呢？</p><p><br></p>
973
浏览
972
浏览
