1032
浏览
就算允许搜索引擎抓取所有页面，也应该在根目录放个空的robots文件，对吗？ Robots 根目录
就算允许搜索引擎抓取所有页面，也应该在根目录放个空的robots文件，对吗？
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1031
浏览
求解~网站索引一万多，site只有三百多，百度反馈迟迟不生效 Robots Site 引蜘蛛
<p>网站目前索引数据正常，蜘蛛抓取正常，且索引数据一直在稳步上涨。每天都有发外链吸引蜘蛛抓取更新。但是就是<strong>site和搜索结果只有300多条</strong>。</p><……
1031
浏览
网站只收录栏目页而不收录内容页是怎么回事呢？ Robots SEOer
<p>网站<a href="https://www.jcpeixun.com/" target="_blank" data-url="www.jcpeixun.com&qu……
1030
浏览
网站收录两个相同页面的链接，一个动态一个伪静态 Robots 排名 静态
网站收录两个相同页面的链接，一个动态一个伪静态，现在想将动态页面用robots协议屏蔽，但现在有一部分动态页面有了对应的关键词排名，这种如果禁止访问动态页面会不会影响那部分有排名的动态页面……
1027
浏览
这个a herf标签怎么加nofollow？属于公司简介栏目的入口链接 Robots Nofollow
<p>或者会不会加robots好一些呢</p><p><br></p>
1026
浏览
robots这样写是否正确？搜外小伙伴麻烦指点下正确写法 Robots
<p>搜外小伙伴帮看看robots写法对不对，</p><p>屏蔽SEKA这个目录，允许其中的几个栏目页被蜘蛛抓取</p><p><br></p>……
1024
浏览
为什么网站安装了微一个微信分享的插件，百度就不停地访问 网站收录 Robots 百度蜘蛛
<p>为什么网站安装了一个微信自定义分享的插件</p><p>，百度就不停地访问 /plugins/weshare/index.html 这个目录</p><p>这个目录打开是：<……
1022
浏览
百度抓取诊断显示403拒绝访问！ Robots 伪静态 PHP 静态
使用百度诊断抓取网站链接，网站伪静态的链接可以正常抓取，有部分动态链接抓取显示“拒绝访问”，请问怎么回事啊？robots文件我也检查了，没有问题。抓取这样的链接：http://www.chinasjha.com/movies/就没问题。换成……
1021
浏览
robots设置中我想屏蔽以tem开头的目录怎么设置? Robots
robots设置中我想屏蔽以tem开头的目录怎么设置?第一种：Disallow: /tem*/ 第二种：Disallow: /tem*/是第一种设置有效还是第二种设置有效？……
1020
浏览
新站长必看的20条seo小常识，有补充的吗？ Robots JS IIS 排名
新站长必看的20条seo小常识 1、问： Title 应该怎么做呢？ 答：头部建议取3 个关键词，字数为 30 个中文字或者 60 个英文字母。 2、问：为什么词排百度第一页也不怎么来流量？ 答：选择词需要考虑词的指数高不高，可……
1016
浏览
一条多年的老域名，上线3天了一个百度蜘蛛都不来 Robots 老域名 文章
不知道是个什么鬼。我一个多年历史的老域名，上线3天了，一个蜘蛛都不来怕。用模拟蜘蛛能够正常访问。robots文件也确保没问题。也绑定了站长平台。每一篇文章都推送到百度的，但他就是一个蜘蛛也不来……
1014
浏览
最近蜘蛛对我不感兴趣，抓去诊断一直失败？ Robots
这是咋回事robots也没有禁止啊！
1014
浏览
我的网站有一个后台Robots.tet要怎么弄 Robots
上面说通过Robots.tet告诉那些能抓取哪些不能抓取，不能抓取的会给予权重吗？大神教教要怎么弄……
1013
浏览
什么是robots.txt文件？ Robots
什么是robots.txt文件？robots.txt文件是用来干啥的
1013
浏览
网站建站已经马上三个月了，索引量2，收录就一个首页 Robots 文章 索引
<p>网站建站已经马上三个月了，索引量2，收录就一个首页<br><br>实在不知道为什么？robots设置的全部抓取，抓取诊断偶尔说抓取失败，原因百度显示为：抓取异常信息：其他错误，重新再测又显示可以了正……
1010
浏览
蜘蛛不爬栏目页，有谁知道什么原因 Robots JS
一年不到的新站，上手运营了三个多月，各个栏目下的文章基本都有收录，但是栏目页不收录，看日志蜘蛛也没有爬取过，robots检查没有问题，找不到原因，谁能看的诊断的出来。https://www.eduzzyjs.com/mba/https://……
1009
浏览
为啥通过robots.txt文件禁止百度抓取的页面一直不删除收录的页面 Robots 网站改版 百度收录 PHP
www.liangchen520.com 这个网站改版后，之前有一些老链接失效了，一直被百度收录，设置禁止抓取一直没有删除，几个月了。User-agent:* Disallow: /index.php/detail/cybq/17 Disa……
1009
浏览
求助，Robots没有屏蔽但是站长平台抓取测试提示屏蔽 Robots 站长平台
<p>内页明明没有设置robots屏蔽，但是就是模拟抓取显示robots屏蔽，主页可以正常抓取，</p><p></p>……
1009
浏览
为什么百度快照更新了好几次就是不更新，还是原标题跟描述。兄弟们有遇到过这个问题吗？ Robots 百度快照 快照更新 百度资源平台
robots没有拦截，访问网站时确实是改了，但快照就是更新不成功，还有百度资源平台那个robots更新一直提示请求失败。……
1006
浏览
新站，通过查看日志发现百度每天来抓取几次robots文件，大家都放置robots文件了吗？ Robots
如题总觉得现在做SEO是不是放置robots没什么必要，毕竟也不会防止搜索引擎抓取什么，而且即便放置了，搜索引擎一般也是照抓不误。现在大家还都写robots吗？……
1006
浏览
网站robots文件怎么正确书写？ Robots
怎么正确书写robots？
1005
浏览
用记事本写Robots.txt文件要怎么写，大神帮帮忙 Robots Nofollow 备案
没有模版后台弄不来nofollow，不让抓取联系我们，关于我们跟备案
1005
浏览
网站有很多不相关页面，能不能删掉，对网站有啥影响不？ Robots 排名 文章
网站之前发布了很多不相关文章，现在想删掉，对排名有啥影响吗？或者不删掉的话用robots协议屏蔽了有用吗？……
1005
浏览
织梦的动态预览页面plus/view.php被百度移动收录了很多，这个该怎么处理 Robots PHP 404
遇到奇葩的事情了。网站好像被人恶意刷流量流量来自m.baidu.com，刷的是一个在一年前就删掉的织梦动态预览页面/plus/view.php?aid=******结果现在导致百度移动端收录了好多这个网址格式的页面奇葩的是明明是404页面，……
1003
浏览
robots.txt怎么写？ Robots
怎么这个robots文件？
1001
浏览
meta robots标签不区分大小写，对吗？ Robots
meta robots标签不区分大小写，对吗？
1001
浏览
我网站的robots.txt协议有没有什么问题啊 Robots PHP
User-agent: * Disallow: /*?* Disallow:/*index.php* User-agent: JikeSpider Disallow: / User-agent: AhrefsBot Di……
998
浏览
网站的robots文件又必要加网站地图吗 Robots Site Sitemap
本地服务开锁换锁芯网站的robots文件里有必要加sitemap吗，对优化有没有帮助，还是手动去提交sitemap 本地服务开锁换锁芯 ……
998
浏览
大神帮忙看一下这个现象！！！ Robots 站长工具
<p></p><p><br></p><p>站长工具说是服务器不稳定导致，可是网站一直访问都是属于正常状态，所以跑到站长工具测试了一下抓取诊断，提示拒绝访问，可是robo……
997
浏览
大佬们看看我的robots文件有问题吗？为什么百度快照一直不更新 Robots 百度快照 站长平台
<p>网站 <a href="http://www.newme.cn/" target="_blank" data-url="www.newme.cn" clas……
996
浏览
公司特殊原因，网站要robots屏蔽内容抓取，但又需要做排名，怎么解决？ Robots 二级域名 排名
公司网站因为特殊原因，主站内部的内容是robot不允许被抓取的，但是老板又想要网站优化有排名，这让人很困扰。我想是建立一个二级域名，通过优化二级域名的排名来给一级域名传导权重，不知道这样是否合适？或者有其他方法可以操作？……
995
浏览
此网站robots协议具体该屏蔽哪些？ Robots
此网站robots协议具体该屏蔽哪些？
995
浏览
robots写法怎么写对? Robots
请问大佬们，网站的robots要怎么写对?还有 查看网站的robots文件如何查看？高手指教了。
995
浏览
robots更新问题，从禁止所有蜘蛛抓取，到允许蜘蛛抓取已经调整过了。快照未更新 Robots 百度收录 索引
新站长时间使用robots禁止所有蜘蛛抓取，但还是被百度收录了，快照显示，网站标题下方，提示由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述 ，，robots.txt已经更换为允许蜘蛛抓取，……
994
浏览
求解答，为何百度蜘蛛总是来看抓取我的robots文件喃，其他页面也不抓取 Robots 404 百度蜘蛛
<p>求解答，我的www.cdljzc.com站点，为何百度蜘蛛总是来看抓取我的robots文件喃，其他页面也不抓取，就盯着robots文件来，一天来抓取几十次，但我也没有robots文件，返回404，，其他页面也不爬，怎么解决……
993
浏览
现在不备案的域名想收录是不是基本上可能性很小？ Robots 备案 排名
一个香港云服务器了做了8个网站，程序用的织梦，网上找到模板，内容采用的147采集的，基本上每天更新。域名都是在聚名买的有建站记录的老域名，没什么黑灰历史。唯一就是网站都没有备案，现在2个多月过去了，除了有一个收录了（但是没排名）。其他都是没……
992
浏览
网站昨天被K，今天百度提交就成这样了，怎么回事 Robots
<p>网站www.gzxsh.com,昨天被一个人渣K了一下，今天的robots就成这样了，怎么回事，现在怎么办</p>……
991
浏览
网站的蜘蛛抓取频次突然由几万降到几百是怎么回事啊？怎么解决呢 Robots 二级域名 抓取频次 代码
1、站长词库关键词比较稳定，流量比较稳定；2、对应的二级域名抓取频次与主站同样的时间节点出现蜘蛛抓取频次下降的问题3、查看了抓取情况，没有返回错误代码，抓取速度也正常4、查看了robots文件，也正常……
