1243
浏览
哪些页面需要加robots呢？ Robots Nofollow
最近一段时间学习NOFOLLOW的添加方法，感谢大神们的一路知道。最近网站一直比较积极。今天想学习一下一般来讲，哪些页面需要加Robots协议呢？……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
1241
浏览
网站收录两个相同页面的链接，一个动态一个伪静态 Robots 排名 静态
网站收录两个相同页面的链接，一个动态一个伪静态，现在想将动态页面用robots协议屏蔽，但现在有一部分动态页面有了对应的关键词排名，这种如果禁止访问动态页面会不会影响那部分有排名的动态页面……
1239
浏览
网站的robots都已经允还显示禁止的？ Robots
网站的robots都已经允许搜索引擎两天了，咋查询的时候还是显示robots禁止搜索引擎的指令呀？……
1239
浏览
这种robots写法正不正确，求大佬指点迷津！！！ Robots
<p>zhezhong <br></p>
1238
浏览
robots文件的作用是指令搜索引擎禁止抓取某些页面，或者允许抓取某些页面，对吗？ Robots
robots文件的作用是指令搜索引擎禁止抓取某些页面，或者允许抓取某些页面，对吗？
1236
浏览
robots这目录怎么写禁止收入，有点难不，亲们看下 Robots
比如我的网站目录 是/play/1263-1-1.html 我想让百度抓取/play/1263-1-1.html play/1263-1-2 play/1263-1-3 play/1263-1-4 以此类推让它可以抓取， 但不想让它……
1233
浏览
robots这样写是否正确？搜外小伙伴麻烦指点下正确写法 Robots
<p>搜外小伙伴帮看看robots写法对不对，</p><p>屏蔽SEKA这个目录，允许其中的几个栏目页被蜘蛛抓取</p><p><br></p>……
1232
浏览
求解~网站索引一万多，site只有三百多，百度反馈迟迟不生效 Robots Site 引蜘蛛
<p>网站目前索引数据正常，蜘蛛抓取正常，且索引数据一直在稳步上涨。每天都有发外链吸引蜘蛛抓取更新。但是就是<strong>site和搜索结果只有300多条</strong>。</p><……
1232
浏览
一条多年的老域名，上线3天了一个百度蜘蛛都不来 Robots 老域名 文章
不知道是个什么鬼。我一个多年历史的老域名，上线3天了，一个蜘蛛都不来怕。用模拟蜘蛛能够正常访问。robots文件也确保没问题。也绑定了站长平台。每一篇文章都推送到百度的，但他就是一个蜘蛛也不来……
1230
浏览
最近大家站长后台是不是出问题了？ Robots 抓取异常
<p>1：sitmap一个月没有更新抓取数据了</p><p>2：robots 抓取异常。</p><p>是我自己的问题还是大家都这样？<br><br><……
1230
浏览
robots屏蔽的内容，为什么百度依然还是收录，展示？ Robots 垃圾内容
我想将网站的垃圾内容用rotbots屏蔽，我记得百度学院说过-去掉垃圾内容可以用rotbots屏蔽掉即可。但是我发现一个问题，用rotbots屏蔽的内容还是被收录了。难道，百度自己说的也是屁话了？？？？……
1229
浏览
1228
浏览
网站权重计算因子浅析 Robots SEOer Site JS
网站权重有点老生常谈了，所以只敢写个浅析，seoer最关心的是权重，操作最频繁却是天天更新文章，换友链，发外链，为什么要重复这些搬砖的过程？发表点不一样的看法和浅薄的经验，望大家指正。一、什么是网站权重|| 引用下百科解释：权重是指某一因素……
1228
浏览
求解答，为何百度蜘蛛总是来看抓取我的robots文件喃，其他页面也不抓取 Robots 404 百度蜘蛛
<p>求解答，我的www.cdljzc.com站点，为何百度蜘蛛总是来看抓取我的robots文件喃，其他页面也不抓取，就盯着robots文件来，一天来抓取几十次，但我也没有robots文件，返回404，，其他页面也不爬，怎么解决……
1228
浏览
robots语法请教！！！ Robots 动态链接
https://www.***。Com/?type=post&orderby=like想把这一类型的链接都屏蔽了，但是又不想屏蔽所有的动态链接（Disallow：/*?*），所以语法该怎么写……
1225
浏览
怎么解决禁止百度收录一些无意义的网页，新手求助！！！ Robots 百度收录 PHP 文章
我这边做了一个网站，百度收录一些没有内容的链接。这些链接我从网站也查不到。我的网站是www.ziyuantuliao。Com无意义的链接比如：http://www.ziyuantuliao。Com/show.php?id=54http://……
1225
浏览
网站首页、分类等列表页是否有必要用robots.txt禁止收录翻页？ Robots
欧美的个人博客网站首页、分类表、标签页等都有很多分页，标题、关键词、描述等内容基本上相同，最多加上“第几页”之类的。有些站长说为了集权要屏蔽掉其他分页，只保留第一页，可通过robots.txt实现；有些站长说不用理会。所以我们是否有必要禁止……
1224
浏览
虚拟主机不能提供301重定向 能够用robots代替301重定向 Robots 301重定向 伪静态
就是robots屏蔽掉要屏蔽的网址，让搜索引擎禁止抓取。是不是301就不用做了，空间服务商让我写伪静态规则，我不会呀……
1220
浏览
用得得做的网站有哪些是要用robots屏蔽的？ Robots 得得
用得得做的网站有哪些是要用robots屏蔽的？
1220
浏览
这个a herf标签怎么加nofollow？属于公司简介栏目的入口链接 Robots Nofollow
<p>或者会不会加robots好一些呢</p><p><br></p>
1219
浏览
已经设置了robots，但还是被百度收录了，显示title，如何删除这种快照呀！ Robots 百度收录
<p>早期被百度收录了，然后设置了robots！但现在发现，还是被百度收录了，搜索结果显示title，如何删除这种快照呀！</p><p></p>……
1218
浏览
首页抓取异常、robots文件设置了重定向跳转、一些列异常，首页直接搜不到了 数据库 Robots 抓取异常 跳转
<p>不知道技术调整了什么，服务器、域名、数据库都在技术那边在调整，seo人员无法去排查，只能通过工具查找原因，再找技术去处理。。</p><p><br></p>……
1218
浏览
这个robots书写是正确的吗？适不适合收索引擎优化 Robots
<p>刚开始学，对这方面不太懂，求前辈们帮忙解答一下</p>
1218
浏览
站长平台的抓取频次在哪里设置呢？怎么找到不到入口呢？ Robots 站长平台 Site Sitemap
<p>1. 站长平台的抓取频次在哪里设置呢？怎么找到不到入口呢？</p><p>2. 网站没有要屏蔽的东西，所以没建robots 但是建立了sitemap了，要不要将sitemap写进去robots？有必要……
1218
浏览
新站长必看的20条seo小常识，有补充的吗？ Robots JS IIS 排名
新站长必看的20条seo小常识 1、问： Title 应该怎么做呢？ 答：头部建议取3 个关键词，字数为 30 个中文字或者 60 个英文字母。 2、问：为什么词排百度第一页也不怎么来流量？ 答：选择词需要考虑词的指数高不高，可……
1217
浏览
robots文件检测（检测并更新）请求失败是怎么回事？求教！ Robots
<p></p>
1216
浏览
想做谷歌seo，请问怎么优化，服务器模板方面该怎么选择 Robots Nofollow H标签 SEO优化
1.谷歌seo优化都包括哪些方面？平时百度里面的h标签，nofollow，以及robots这些都还适用吗？具体怎么优化，有什么插件可以查询数据2.我们针对的是全球的业务，服务器节点应该咋选择，镜像方面还选择centos吗？3.做外贸模板有什……
1216
浏览
网站的robots文件又必要加网站地图吗 Robots Site Sitemap
本地服务开锁换锁芯网站的robots文件里有必要加sitemap吗，对优化有没有帮助，还是手动去提交sitemap 本地服务开锁换锁芯 ……
1215
浏览
如何在robots.txt里屏蔽夸克搜索引擎蜘蛛 Robots 索引
请问，如何在robots.txt里屏蔽夸克搜索引擎蜘蛛？
1215
浏览
捉取诊断失败，显示Robots封禁 ，可我们没有封禁百度蜘蛛，这到底是是怎么回事呀？？？？ Robots 百度蜘蛛 索引
<p>利用百度资源平台捉取诊断，显示失败，查看了抓取详情 ，显示Robots封禁 ，可我们没有封禁百度蜘蛛；而且网站地图提交也显示失败，可在别的搜索引擎是能成功提交的的，也能正常捉取，就是百度不行</p><p&……
1209
浏览
关于网站301重定向的相关知识 Robots 排名 跳转 静态
在日常SEO工作中，301重定向还是有着举足轻重的作用，比如：网站的改版，重复内容的出现，域名的更换等。如果你的站点基于搜索营销，当你遇到上述问题的时候，避免造成过多的损失，了解301重定向很有必要。简单理解：301重定向从SEO的角度，是……
1206
浏览
robots.txt 这样配置是不是错的 Robots
我的网站www.daimjia.cn[?]前几天添加了robots.txt文件， 因为我自己不懂写，然后在一个在线配置robots的网站生成了一个，我的目的是想把谷歌的蜘蛛禁了。。但是这几天所有的蜘蛛几乎都不来了，能帮我看下是不是这个配置的……
1206
浏览
meta robots标签不区分大小写，对吗？ Robots
meta robots标签不区分大小写，对吗？
1205
浏览
robots我明明已经禁止red前缀的链接，百度为啥还收录 Robots
<p>robots我明明已经禁止red前缀的链接，百度为啥还收录？？还有我检查robots也是正常正确的。</p><p><br></p>……
1204
浏览
新站，通过查看日志发现百度每天来抓取几次robots文件，大家都放置robots文件了吗？ Robots
如题总觉得现在做SEO是不是放置robots没什么必要，毕竟也不会防止搜索引擎抓取什么，而且即便放置了，搜索引擎一般也是照抓不误。现在大家还都写robots吗？……
1204
浏览
网站没设置robots文件，但是直接在域名后面输入/robots.txt却能显示出文件 Robots
我的网站没设置robots文件，后台也没看到有这个文件，用ftp也查看不到，但是用各种检测工具都能检测出来，并且直接在域名后面加/robots.txt还能直接进去。请教各位大佬这是什么情况呢……
1201
浏览
蜘蛛抓取 是不是只抓取正文？ Robots JS
导航上面那种不会被抓吧？js放导航上面呢？robots做个地图给蜘蛛看可以吧？各位多指导感谢！……
1200
浏览
有没有大佬，站长后台发现抓取失败，检测robots显示服务器配置有误是因为什么？怎么解决 Robots
<p></p><p></p>
1199
浏览
为什么sitemap有时候推送有时候不推送， Robots Site Sitemap
<p>提问为什么sitemap有时候推送有时候不推送， 在robots里面也有填sitemap</p><p></p>……
1198
浏览
robots里有必要填写allow吗 Robots Site Sitemap
比方说想专门想让蜘蛛爬取某个链接或者某个目录，有必要在robots里设置allow吗 比如 Allow: http://www.qqqqq1.com/a另外 在robots里放了 Sitemap:http://www.qqqqq1.c……
