742
浏览
css js大家在robots屏蔽了吗？有必要吗？ Robots JS
因为每天爬都有爬css和js这些 看有种说法说是会浪费蜘蛛，那要不要屏蔽呢？有意思吗？
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
741
浏览
网站参数空白页面总是被蜘蛛抓取怎么办 Robots PHP
<p>网站参数空白页面总是被蜘蛛抓取，也写了robots了，但还是有蜘蛛挺多抓取这些空白参数页面（返回码200）好像当成了首页（也可能是假蜘蛛），怎么解决？</p><p>/index.php?m=Home……
739
浏览
网站大量页面删除，已经使用robots.txt文件屏蔽，还需要提交死链接吗？ Robots 死链接 文章
网站内容更换，删除大量文章页面使用robots屏蔽共同栏目页，这些页面还需要去资源平台提交死链吗？……
736
浏览
Robots1处错误是什么意思？ Robots
<p></p>
733
浏览
不写robots.txt文件有什么影响？ Robots
不写robots.txt文件有什么影响？
732
浏览
731
浏览
关于robots文件屏蔽链接的写法，帮忙看看 Robots
请问大家，这样是不让蜘蛛抓取DEF文件夹内容，ABC文件夹不受影响。对吧User-agent: *Disallow: /ABC/DEF/……
731
浏览
大家帮我看看我的robots.txt有没有问题 Robots Site Sitemap
大家帮我看看我的robots.txt有没有问题User-agent: *Disallow:Sitemap: https://www.sclmbh.com/sitemaps.txtUser-agent: MJ12botDisallow: /……
729
浏览
729
浏览
robots文件屏蔽的栏目，搜索引擎还是去抓取，怎么办？ Robots 404 索引
robots.txt 写了不让爬某栏目 结果它还是去爬 还404 有啥办法啊?
728
浏览
robots设置，你们都是怎么设置的，需要让蜘蛛抓取哪些 Robots
robots设置，你们都是怎么设置的，需要让蜘蛛抓取哪些
725
浏览
网站已提交死链后是否还需要设置robots？ Robots
网站已提交死链后是否还需要设置robots？
723
浏览
移动端如何写robots文件 Robots 移动端
移动端的robots也跟pc端的一样么？
720
浏览
频繁更改robots，会导致降权吗？ Robots
如果一个月调整了两次robots文件，会有什么影响？
720
浏览
719
浏览
718
浏览
正常网站用百度资源Robots监测提示404怎么办？ Robots 404
<p>网站访问没问题，而且用百度资源“抓取诊断”也正常。</p><p>但是，百度资源“Robots”监测提示：您的服务器配置有误，百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常……
716
浏览
715
浏览
robots.txt文件怎么写比较好，请大神分享一下 Robots
robots.txt文件怎么写比较好，请大神分享一下，http://www.puai999.com/
712
浏览
我在robots.txt中设置了禁止百度收录我网站的内容 Robots 百度收录
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
711
浏览
robots设置只抓取指定目录和首页 Robots 百度蜘蛛
虽然百度识别出了都是无效页面，但大量的抓取严重影响了服务器性能，因此通过robots设置只允许百度蜘蛛抓取指定的目录和首页，来解决这个问题。……
711
浏览
robots文件怎么弄？ Robots 404
服务器里没有robots文件，但蜘蛛经常抓取，导致显示404。没有robots文件可不可以，如果不可以的话，应该怎么设置。……
711
浏览
网站收录域名后面被加了一下参数 请问是怎么回事 网站收录 Robots
<p></p><p><br></p><p>首页被加了很多不同参数被收录了 不知道怎么回事 请问要怎么处理 robots里已经禁止/?*的抓取了 </p>……
710
浏览
求助！！！问题描述如下 Robots
现有网站www.abc.com，登陆页为account.abc.com/login?_ag=1234，登陆页为动态，如何书写www.abc.com的robots文件呢？……
709
浏览
robots文本如何屏蔽带?结尾的链接，怎么编写？ Robots
<p><br></p>
709
浏览
robots阻止抓取死链有效吗 Robots 百度蜘蛛
死链目录放到robots里面了 为什么还有百度蜘蛛来爬
707
浏览
网站管理后台路径要不要写进robots.txt？ Robots
网站后台路径要不要写进robots.txt？不写进去，搜索乱爬，写进去，等于公之于众。
706
浏览
百度蜘蛛无法对网站正常索引爬行? Robots 百度蜘蛛 索引
百度蜘蛛无法对网站正常索引爬行，抓取诊断显示“未解析到IP或有Robots封禁 ”我的网站屏蔽蜘蛛三天之后又重新开启了，但是百度蜘蛛都不来网站爬行，后台使用抓取诊断显示“未解析到IP或有Robots封禁 ”，robots文件检测也没有问题，……
706
浏览
robots了整个网站，怎么才能把首页也从结果页中删除？ Robots 淘宝
<p>像淘宝一样，我网站现在也是这样的情况，怎么样把这个结果删除掉直接就删除掉不显示</p><p><br></p>……
699
浏览
698
浏览
网站地图的txt格式放robots里有用吗？ Robots
网站地图的txt格式放robots里有用吗？
696
浏览
百度蜘蛛抓取服务器连接超时是几个意思？ Robots 二级域名 同服务器 404
蜘蛛爬取日志全部是404，就连robots文件都是404，请问是什么原因另外，我的站有除了www，还有另外一个二级域名，这两个二级域名都在不同服务器上，我的在这两个域名下我都设置了robos文件，就是说我有两个robots，这样是否可以？……
696
浏览
网站robots.txt一般禁止蜘蛛抓取哪些内容 Robots JS
正常的网站robots.txt你们一般禁止蜘蛛抓取哪些内容，js、css还有补充的吗
695
浏览
695
浏览
到底哪些是不想被抓取的页面，都有哪些呢？ Robots 索引
robots屏蔽问题我一直不解，可能是因为我不会设置robots.txt文件的原因。其他人都说可以用robots去屏蔽不想被搜索引擎抓取的页面，但我很迷糊，到底哪些是不想被抓取的页面，都有哪些呢？求告知，我也希望自己能够提升这块的操作能力。……
695
浏览
网站Robots协议没有禁止蜘蛛抓取为什么蜘蛛不来？ Robots
网站蜘蛛长时间不来了，我查看了也没有禁止蜘蛛抓取，可蜘蛛就是不来网站了，为什么就不来网站抓取内容了？网站究竟哪里问题导致蜘蛛不来了，服务器稳定我也每天提交链接百度，有哪里不对呢？……
