1351
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
1350
浏览
1348
浏览
这种robots写法正不正确，求大佬指点迷津！！！ Robots
<p>zhezhong <br></p>
1347
浏览
网站首页、分类等列表页是否有必要用robots.txt禁止收录翻页？ Robots
欧美的个人博客网站首页、分类表、标签页等都有很多分页，标题、关键词、描述等内容基本上相同，最多加上“第几页”之类的。有些站长说为了集权要屏蔽掉其他分页，只保留第一页，可通过robots.txt实现；有些站长说不用理会。所以我们是否有必要禁止……
1347
浏览
robots里有必要填写allow吗 Robots Site Sitemap
比方说想专门想让蜘蛛爬取某个链接或者某个目录，有必要在robots里设置allow吗 比如 Allow: http://www.qqqqq1.com/a另外 在robots里放了 Sitemap:http://www.qqqqq1.c……
1344
浏览
robots文件里已经禁止了，但是蜘蛛还是去抓，而且还是404 Robots 404
<p>比如这个templets文件夹我已经禁止了，但是查看网站日志，发现蜘蛛还是去抓了，而且还是提示404</p><p>这是咋回事?</p><p>难道说robots文件没用吗？&l……
1344
浏览
网站双链接，我robots禁止抓取动态链接有什么影响？ Robots 动态链接
网站双链接，我robots禁止抓取动态链接有什么影响？
1341
浏览
之前不小心解析了不带www的网址，现在先用robots设置不让制作抓取不带www的网址，怎么样写？ Robots
之前不小心解析了不带www的网址，现在先用robots设置不让制作抓取不带www的网址，怎么样写？……
1338
浏览
想问一下，大家在修改网站robots文件之后，多久会有效果 网站收录 Robots
最近修改了网站robots文件，导致网站收录出现了问题，现在又重新写了一下，想问robots文件多久能够在百度这里其效果。……
1336
浏览
一条多年的老域名，上线3天了一个百度蜘蛛都不来 Robots 老域名 文章
不知道是个什么鬼。我一个多年历史的老域名，上线3天了，一个蜘蛛都不来怕。用模拟蜘蛛能够正常访问。robots文件也确保没问题。也绑定了站长平台。每一篇文章都推送到百度的，但他就是一个蜘蛛也不来……
1336
浏览
关于网站301重定向的相关知识 Robots 排名 跳转 静态
在日常SEO工作中，301重定向还是有着举足轻重的作用，比如：网站的改版，重复内容的出现，域名的更换等。如果你的站点基于搜索营销，当你遇到上述问题的时候，避免造成过多的损失，了解301重定向很有必要。简单理解：301重定向从SEO的角度，是……
1335
浏览
SEO生成网站地图的工具有哪些？ Robots
有没有功能强大点的网站地图生成工具，最好能根据robots去爬URL的那种。很多链接不想放到网站地图了。有没有好的网站工具推荐一下呢？……
1335
浏览
求解~网站索引一万多，site只有三百多，百度反馈迟迟不生效 Robots Site 引蜘蛛
<p>网站目前索引数据正常，蜘蛛抓取正常，且索引数据一直在稳步上涨。每天都有发外链吸引蜘蛛抓取更新。但是就是<strong>site和搜索结果只有300多条</strong>。</p><……
1334
浏览
我是不是robots出问题了呀。。 Robots 百度蜘蛛
我把ahrefsbot用robots屏蔽了 它不再来了，然而我的百度蜘蛛为啥跟着它一起不来了呢。啥子原因哟小破站 http://www.yingniu888.cn/ ……
1334
浏览
robots文件的作用是指令搜索引擎禁止抓取某些页面，或者允许抓取某些页面，对吗？ Robots
robots文件的作用是指令搜索引擎禁止抓取某些页面，或者允许抓取某些页面，对吗？
1333
浏览
网站的robots都已经允还显示禁止的？ Robots
网站的robots都已经允许搜索引擎两天了，咋查询的时候还是显示robots禁止搜索引擎的指令呀？……
1331
浏览
robots这目录怎么写禁止收入，有点难不，亲们看下 Robots
比如我的网站目录 是/play/1263-1-1.html 我想让百度抓取/play/1263-1-1.html play/1263-1-2 play/1263-1-3 play/1263-1-4 以此类推让它可以抓取， 但不想让它……
1331
浏览
求解答，为何百度蜘蛛总是来看抓取我的robots文件喃，其他页面也不抓取 Robots 404 百度蜘蛛
<p>求解答，我的www.cdljzc.com站点，为何百度蜘蛛总是来看抓取我的robots文件喃，其他页面也不抓取，就盯着robots文件来，一天来抓取几十次，但我也没有robots文件，返回404，，其他页面也不爬，怎么解决……
1330
浏览
首页抓取异常、robots文件设置了重定向跳转、一些列异常，首页直接搜不到了 数据库 Robots 抓取异常 跳转
<p>不知道技术调整了什么，服务器、域名、数据库都在技术那边在调整，seo人员无法去排查，只能通过工具查找原因，再找技术去处理。。</p><p><br></p>……
1330
浏览
新站长必看的20条seo小常识，有补充的吗？ Robots JS IIS 排名
新站长必看的20条seo小常识 1、问： Title 应该怎么做呢？ 答：头部建议取3 个关键词，字数为 30 个中文字或者 60 个英文字母。 2、问：为什么词排百度第一页也不怎么来流量？ 答：选择词需要考虑词的指数高不高，可……
1329
浏览
robots语法请教！！！ Robots 动态链接
https://www.***。Com/?type=post&orderby=like想把这一类型的链接都屏蔽了，但是又不想屏蔽所有的动态链接（Disallow：/*?*），所以语法该怎么写……
1327
浏览
请问大家，robots检查这里是有带个“/”,还是不带呢？ Robots
<p><br></p><p><br></p>
1327
浏览
robots屏蔽的内容，为什么百度依然还是收录，展示？ Robots 垃圾内容
我想将网站的垃圾内容用rotbots屏蔽，我记得百度学院说过-去掉垃圾内容可以用rotbots屏蔽掉即可。但是我发现一个问题，用rotbots屏蔽的内容还是被收录了。难道，百度自己说的也是屁话了？？？？……
1326
浏览
网站的robots文件又必要加网站地图吗 Robots Site Sitemap
本地服务开锁换锁芯网站的robots文件里有必要加sitemap吗，对优化有没有帮助，还是手动去提交sitemap 本地服务开锁换锁芯 ……
1326
浏览
查看网站的robots文件显示404是怎么回事~应该怎么处理 Robots 404
查看网站的robots文件显示404是怎么回事~应该怎么处理
1325
浏览
1321
浏览
站长平台的抓取频次在哪里设置呢？怎么找到不到入口呢？ Robots 站长平台 Site Sitemap
<p>1. 站长平台的抓取频次在哪里设置呢？怎么找到不到入口呢？</p><p>2. 网站没有要屏蔽的东西，所以没建robots 但是建立了sitemap了，要不要将sitemap写进去robots？有必要……
1317
浏览
怎么解决禁止百度收录一些无意义的网页，新手求助！！！ Robots 百度收录 PHP 文章
我这边做了一个网站，百度收录一些没有内容的链接。这些链接我从网站也查不到。我的网站是www.ziyuantuliao。Com无意义的链接比如：http://www.ziyuantuliao。Com/show.php?id=54http://……
1316
浏览
已经设置了robots，但还是被百度收录了，显示title，如何删除这种快照呀！ Robots 百度收录
<p>早期被百度收录了，然后设置了robots！但现在发现，还是被百度收录了，搜索结果显示title，如何删除这种快照呀！</p><p></p>……
1314
浏览
为什么sitemap有时候推送有时候不推送， Robots Site Sitemap
<p>提问为什么sitemap有时候推送有时候不推送， 在robots里面也有填sitemap</p><p></p>……
1311
浏览
1310
浏览
robots.txt文件存在限制指令，现在已经删除了，一直不更新 Robots
<p><br></p><p>去做反馈了，也一直没给更新过来</p>
1310
浏览
蜘蛛池对收录有帮助吗 Robots 排名 文章 友链
<p>小编——@小红帽蜘蛛池，快速收录支持测试</p><p></p><p>一是网站关键字定位。</p><p>这个概念很大，需要细分理解。比如从没有太多推广经……
1310
浏览
1309
浏览
用得得做的网站有哪些是要用robots屏蔽的？ Robots 得得
用得得做的网站有哪些是要用robots屏蔽的？
1309
浏览
哪些页面需要加robots呢？ Robots Nofollow
最近一段时间学习NOFOLLOW的添加方法，感谢大神们的一路知道。最近网站一直比较积极。今天想学习一下一般来讲，哪些页面需要加Robots协议呢？……
1308
浏览
robots文件检测（检测并更新）请求失败是怎么回事？求教！ Robots
<p></p>
1305
浏览
robots.txt怎么写？ Robots
怎么这个robots文件？
1305
浏览
Robots.tet文件这样上传不知道对不对，请大神指点一二 Robots 备案
# robots.txt generated at http://tool.chinaz.com/robots/ User-agent: * Disallow: User-agent: * Disallow: Disallow: /bin……
