757
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
755
浏览
网站参数空白页面总是被蜘蛛抓取怎么办 Robots PHP
<p>网站参数空白页面总是被蜘蛛抓取，也写了robots了，但还是有蜘蛛挺多抓取这些空白参数页面（返回码200）好像当成了首页（也可能是假蜘蛛），怎么解决？</p><p>/index.php?m=Home……
754
浏览
不写robots.txt文件有什么影响？ Robots
不写robots.txt文件有什么影响？
753
浏览
css js大家在robots屏蔽了吗？有必要吗？ Robots JS
因为每天爬都有爬css和js这些 看有种说法说是会浪费蜘蛛，那要不要屏蔽呢？有意思吗？
751
浏览
Robots1处错误是什么意思？ Robots
<p></p>
750
浏览
网站大量页面删除，已经使用robots.txt文件屏蔽，还需要提交死链接吗？ Robots 死链接 文章
网站内容更换，删除大量文章页面使用robots屏蔽共同栏目页，这些页面还需要去资源平台提交死链吗？……
747
浏览
关于robots文件屏蔽链接的写法，帮忙看看 Robots
请问大家，这样是不让蜘蛛抓取DEF文件夹内容，ABC文件夹不受影响。对吧User-agent: *Disallow: /ABC/DEF/……
746
浏览
745
浏览
robots文件屏蔽的栏目，搜索引擎还是去抓取，怎么办？ Robots 404 索引
robots.txt 写了不让爬某栏目 结果它还是去爬 还404 有啥办法啊?
744
浏览
大家帮我看看我的robots.txt有没有问题 Robots Site Sitemap
大家帮我看看我的robots.txt有没有问题User-agent: *Disallow:Sitemap: https://www.sclmbh.com/sitemaps.txtUser-agent: MJ12botDisallow: /……
743
浏览
robots设置，你们都是怎么设置的，需要让蜘蛛抓取哪些 Robots
robots设置，你们都是怎么设置的，需要让蜘蛛抓取哪些
742
浏览
网站已提交死链后是否还需要设置robots？ Robots
网站已提交死链后是否还需要设置robots？
738
浏览
robots.txt文件怎么写比较好，请大神分享一下 Robots
robots.txt文件怎么写比较好，请大神分享一下，http://www.puai999.com/
738
浏览
移动端如何写robots文件 Robots 移动端
移动端的robots也跟pc端的一样么？
736
浏览
正常网站用百度资源Robots监测提示404怎么办？ Robots 404
<p>网站访问没问题，而且用百度资源“抓取诊断”也正常。</p><p>但是，百度资源“Robots”监测提示：您的服务器配置有误，百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常……
735
浏览
频繁更改robots，会导致降权吗？ Robots
如果一个月调整了两次robots文件，会有什么影响？
734
浏览
734
浏览
732
浏览
730
浏览
robots了整个网站，怎么才能把首页也从结果页中删除？ Robots 淘宝
<p>像淘宝一样，我网站现在也是这样的情况，怎么样把这个结果删除掉直接就删除掉不显示</p><p><br></p>……
726
浏览
robots设置只抓取指定目录和首页 Robots 百度蜘蛛
虽然百度识别出了都是无效页面，但大量的抓取严重影响了服务器性能，因此通过robots设置只允许百度蜘蛛抓取指定的目录和首页，来解决这个问题。……
726
浏览
robots文件怎么弄？ Robots 404
服务器里没有robots文件，但蜘蛛经常抓取，导致显示404。没有robots文件可不可以，如果不可以的话，应该怎么设置。……
726
浏览
我在robots.txt中设置了禁止百度收录我网站的内容 Robots 百度收录
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
723
浏览
百度蜘蛛无法对网站正常索引爬行? Robots 百度蜘蛛 索引
百度蜘蛛无法对网站正常索引爬行，抓取诊断显示“未解析到IP或有Robots封禁 ”我的网站屏蔽蜘蛛三天之后又重新开启了，但是百度蜘蛛都不来网站爬行，后台使用抓取诊断显示“未解析到IP或有Robots封禁 ”，robots文件检测也没有问题，……
723
浏览
网站管理后台路径要不要写进robots.txt？ Robots
网站后台路径要不要写进robots.txt？不写进去，搜索乱爬，写进去，等于公之于众。
722
浏览
求助！！！问题描述如下 Robots
现有网站www.abc.com，登陆页为account.abc.com/login?_ag=1234，登陆页为动态，如何书写www.abc.com的robots文件呢？……
721
浏览
网站收录域名后面被加了一下参数 请问是怎么回事 网站收录 Robots
<p></p><p><br></p><p>首页被加了很多不同参数被收录了 不知道怎么回事 请问要怎么处理 robots里已经禁止/?*的抓取了 </p>……
721
浏览
robots阻止抓取死链有效吗 Robots 百度蜘蛛
死链目录放到robots里面了 为什么还有百度蜘蛛来爬
719
浏览
robots文本如何屏蔽带?结尾的链接，怎么编写？ Robots
<p><br></p>
717
浏览
715
浏览
713
浏览
百度蜘蛛抓取服务器连接超时是几个意思？ Robots 二级域名 同服务器 404
蜘蛛爬取日志全部是404，就连robots文件都是404，请问是什么原因另外，我的站有除了www，还有另外一个二级域名，这两个二级域名都在不同服务器上，我的在这两个域名下我都设置了robos文件，就是说我有两个robots，这样是否可以？……
711
浏览
网站地图的txt格式放robots里有用吗？ Robots
网站地图的txt格式放robots里有用吗？
709
浏览
709
浏览
网站Robots协议没有禁止蜘蛛抓取为什么蜘蛛不来？ Robots
网站蜘蛛长时间不来了，我查看了也没有禁止蜘蛛抓取，可蜘蛛就是不来网站了，为什么就不来网站抓取内容了？网站究竟哪里问题导致蜘蛛不来了，服务器稳定我也每天提交链接百度，有哪里不对呢？……
709
浏览
网站robots.txt一般禁止蜘蛛抓取哪些内容 Robots JS
正常的网站robots.txt你们一般禁止蜘蛛抓取哪些内容，js、css还有补充的吗
