914
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
914
浏览
Robots.txt 我写对了吗？ Robots WordPress 文章
<p>最近用wordpress做了个网站 ，发现搜索引擎乱抓站内URL 莫名其妙不知道什么原因，多次处理无果，于是乎想用robots.txt文件来限制掉，搜索引擎抓取所有东西，只让搜索引擎抓取 首页 目录及文章页面</p&……
913
浏览
百度抓取这些文件怎么回事？robots怎么屏蔽？比如屏蔽// Robots
<p><br></p>
912
浏览
Robots更新请求失败这是怎么回事？ Robots
<p><br></p>
909
浏览
大伙看看这个robots这么写有问题吗 Robots
<p><br></p>
909
浏览
百度后台显示robots没问题，为啥其它搜索引擎显示爬虫被封禁？ Robots 索引
<p></p><p>百度后台显示robots没问题，为啥其它搜索引擎显示爬虫被封禁？</p>……
909
浏览
关于企业网站内链Link优化的一些方法论，内容来自Oncrawl。 Robots PHP 排名 索引
这篇优化建议由 www.leptech.cn 小编引自Oncrawl官方网站，翻译效果可能不会太好，大家可以参考着学习哦~1.URL 必须是每个人都可读的阅读器和搜索引擎都必须能够读取您的 URL。搜索引擎作为读者，阅读您的 URL 单词以……
908
浏览
robots中 Disallow 是告诉搜索引擎不要抓取某些文件或目录，对吗？ Robots
robots中 Disallow 是告诉搜索引擎不要抓取某些文件或目录，对吗？
908
浏览
我的站是老域名14年了，建站的时候robots设定的禁止所有蜘蛛 Robots 老域名 文章
我的站是老域名14年了，建站的时候robots设定的禁止所有蜘蛛，然后一直手动更新文章，未采集，有1000篇文章了，1个月了，后来发现到了，重新改了robots文件，过了1个月还是只收录了首页。怎么办啊。……
907
浏览
robots文件有什么作用？ Robots
网站没有弄robots文件，没事吧？
904
浏览
903
浏览
网站的css文件需要写进robots文件吗? Robots
网站的css文件需要写进robots文件吗?
902
浏览
Robots.txt问题请教一下，请大神帮忙 Robots
# robots.txt generated at http://tool.chinaz.com/robots/ User-agent: *前面这个生成网站网址要换成我们设计网站的网址吗……
901
浏览
901
浏览
【推广站改优化站】各位大佬能帮我看看改版后的网站有什么问题吗？ Robots canonical 跳转 文章
我有几个疑问如下：1、网站改版后原来的推广页，是否需要转移到新解析的二级域名去，还是继续用原来的二级目录，推广页上的广告弹窗会不会影响到优化，百度好像对广告弹窗打击得比较严。2、网站的移动端是独立站，域名是带m的，但是页面被PC端收录了，而……
896
浏览
网站优化要学会分析细节 CMS Robots ping 404
1、诊断网站速度 诊断网站的打开速度是最基础的，因为，一个网站打开速度过慢，会直接影响网站的用户体验度，和影响网站与搜索引擎的友好度。诊断网站速度一般我们可以在自己电脑上PING测速，也可以在一些站长工具里进行检查。 2、分析网页路……
894
浏览
noindex meta robots标签 ,页面会被抓取，但不会被索引，不会出现在搜索结果页面，对 Robots 搜索结果
noindex meta robots标签 ,页面会被抓取，但不会被索引，不会出现在搜索结果页面，对吗？
894
浏览
893
浏览
网站关键词搜索结果中出现大量外链怎么办？ Robots SEOer PHP 跳转
网站和评论中的外链新采用了 exmple .com/go.php ?url= http: // abc .com 的方法跳转,统计外链的访问次数等等.go.php 是直接跳转, 不是呈现一个页面说明"您将离开本网站"这种.外链全部加了rel……
892
浏览
Disallow: /*ox* 这是什么意思？有谁知道吗？ Robots
我的网站robots.txt文件里设置了这个，对网站有影响吗？蜘蛛都不来抓取了
892
浏览
890
浏览
网站的收录数量直接影响站点的流量 Robots IIS 排名 索引
在SEO中，收录数对流量会有影响，因为页面的收录是页面获得排名的前提，页面排名也直接影响了网站的流量，这就是为什么站长们都注重百度权重收录量大是每一个网站优化希望得到的结果，但是就算你收录量到亿，没有流量，也就只能是个数字而已，网站质量低导……
889
浏览
只有禁止索引时，meta robots标签才有意义，对吗？ Robots
只有禁止索引时，meta robots标签才有意义，对吗？
888
浏览
robots大家会把一些css js 图片等写进去吗？有必要吗？ Robots JS
每天网站上都有爬css和js等 要不要屏蔽掉来节约爬虫？这样会让爬虫节省时间去爬其他页面am？还是说他本来想爬js 结果屏蔽了 他扭头就走了？也不会去爬其他的内页？……
886
浏览
网站好像是被黑，但是查不出来 PPT Robots 网站被黑
第一次出现这种被黑的情况，例如：域名/?xxxxxxx.doc；域名/?xxxxxx.pptx；.xml；等等这种类型的; /?后面被收录了10来条，全部都是黑的东西，但是查了ftp没有任何页面;我自己是用robots先禁止了 /? （这……
886
浏览
884
浏览
想做谷歌seo，请问怎么优化，服务器模板方面该怎么选择 Robots Nofollow H标签 SEO优化
1.谷歌seo优化都包括哪些方面？平时百度里面的h标签，nofollow，以及robots这些都还适用吗？具体怎么优化，有什么插件可以查询数据2.我们针对的是全球的业务，服务器节点应该咋选择，镜像方面还选择centos吗？3.做外贸模板有什……
884
浏览
想要改版两个导航栏页面内容 会有影响吗 Robots Nofollow
<p>想要改版两个导航栏页面内容 会有影响吗<br>这两个导航栏之前就用robots和nofollow让他不被抓取，所以这两个页面都是没有被抓取和收录过的，我这时候改版这两个页面会有影响吗<br><……
883
浏览
百度刷新robots 失败，请问各位有没有这情情况？ Robots
<p>百度刷新robots 失败，请问各位有没有这情情况？</p><p><br></p><p><br></p>……
880
浏览
关于robots字段屏蔽写法的问题？ Robots
假如我要屏蔽public后面的所有字段 requestUrl:/syzl-business-api/business/public/queryCityConfModel requestUrl:"/syzl-business-api/busi……
878
浏览
谁有空帮我分析一下，这样写的robots.txt文件对不对啊 Robots
<p></p>
876
浏览
怎么看网站中robots文件 看看蜘蛛来网站爬行的时间呢 Robots
怎么看网站中robots文件 看看蜘蛛来网站爬行的时间呢 www.tianchiyedanguan.com
876
浏览
网站更换备案，期间用robots屏蔽蜘蛛可以吗？会不会有影响？ Robots 备案
网站更换备案，期间用robots屏蔽蜘蛛可以吗？会不会有影响？
876
浏览
站长平台Robots请教 Robots 备案 代码
<p>年前因为备案原因使用另一个域名使用Robots，对整站抓取做了屏蔽如图：</p><p></p><p>但年后使用新的域名，也把Robot屏蔽代码删除，现在如下图：</p&……
875
浏览
各位大佬，请问robots文件应该要怎么样写好？ Robots
各位大佬，请问robots文件应该要怎么样写好？织梦系统的，是不是可以把除了内容页以外的其他文件夹都禁止爬行？……
874
浏览
只有需要禁止搜索引擎抓取某些页面时，robots文件才有存在的意义，对吗？ Robots
只有需要禁止搜索引擎抓取某些页面时，robots文件才有存在的意义，对吗？
874
浏览
robots设置中我想屏蔽以tem开头的目录怎么设置? Robots
robots设置中我想屏蔽以tem开头的目录怎么设置?第一种：Disallow: /tem*/ 第二种：Disallow: /tem*是第一种设置有效还是第二种设置有效？……
873
浏览
robots.txt 这样配置是不是错的 Robots
我的网站www.daimjia.cn[?]前几天添加了robots.txt文件， 因为我自己不懂写，然后在一个在线配置robots的网站生成了一个，我的目的是想把谷歌的蜘蛛禁了。。但是这几天所有的蜘蛛几乎都不来了，能帮我看下是不是这个配置的……
872
浏览
这几天很多访问404的怎么回事？ 推荐热议 Robots 404页面 404
请教下大家，最近百度一直来访问这些404的页面，都是一直在重复访问这些的，我统计了下，总共97个404页面，天天来，一天差不多访问几百次，我也多次在百度站长那提交了这些死链接过去，但是还是一直来访问，后面提交了百度反馈，让我设置robots……
