948
浏览
lumen框架开发的网站，robots主要限制哪些文件 Robots
如题，有大佬告知吗？？？
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
944
浏览
网站robobts里没有禁止蜘蛛抓取，为什么在百度搜索框里显示禁止状态 推荐热议 Robots
我这robots问题快一个多月都是这样的问题。给百度反馈的很多次，还是这样。自从换了服务器之后一直处于这个状态。换服务器已经一个月了。……
942
浏览
robots这么写正确吗？还差什么，麻烦补一下 Robots
<p><br></p>
940
浏览
robots中Disallow后面文件路径加不加斜杠/有什么区别 Robots
Disallow: /specialDisallow: /special/
940
浏览
网站一个栏目一直都没有被收录现在权3? Robots 静态
我是dede搭建的，都是纯静态页面，robots也没有，主要是关键词多，还有就是靠时间养的，我是仿的站，对seo角度不是很友好啊！但是内容不是采集的都是原创的。我想知道怎么提升收录？……
938
浏览
网站的robots都已经允还显示禁止的？ Robots
网站的robots都已经允许搜索引擎两天了，咋查询的时候还是显示robots禁止搜索引擎的指令呀？……
938
浏览
蜘蛛抓取 是不是只抓取正文？ Robots JS
导航上面那种不会被抓吧？js放导航上面呢？robots做个地图给蜘蛛看可以吧？各位多指导感谢！……
937
浏览
收录率100%会不会有什么负面影响？ Robots 收录率 Site 文章
<p>发了3100篇文章，连栏目页+tag也就3400左右，site一下居然有3380 百度是有多饥渴 - -！幸好有robots挡着，要不然后台都收录了。</p><p><br></p&……
936
浏览
移动端手机站的优化方法有哪些 Robots 浏览器 移动端 手机站
1、网站定位和页面设计2、手机网站适配声明3、网站尽可能简洁4、清晰的结构和明晰的导航5、做好浏览器兼容调试工作6、域名和robots设置7、避免使用弹窗、flash、java等行为8、页面细节优化9、url链接规范化10、高版本的手机站的……
933
浏览
这个a herf标签怎么加nofollow？属于公司简介栏目的入口链接 Robots Nofollow
<p>或者会不会加robots好一些呢</p><p><br></p>
931
浏览
关于百度死链处理机制的一个提问 Robots 404 文章 索引
经过研究发现一个网站死链多少不重要，重要的是当天百度抓取的死链数量，如果当天抓取的死链数量达到一个阈值网站就会受到惩罚，比如降权，收录变慢，收录率变低，甚至停止收录。曾经有一个站也删除了大量文章，也没事，秒收。因为百度抓取频率是变化的，有时……
929
浏览
虚拟主机不能提供301重定向 能够用robots代替301重定向 Robots 301重定向 伪静态
就是robots屏蔽掉要屏蔽的网址，让搜索引擎禁止抓取。是不是301就不用做了，空间服务商让我写伪静态规则，我不会呀……
928
浏览
robots.txt文件存在限制指令，现在已经删除了，一直不更新 Robots
<p><br></p><p>去做反馈了，也一直没给更新过来</p>
928
浏览
我是不是robots出问题了呀。。 Robots 百度蜘蛛
我把ahrefsbot用robots屏蔽了 它不再来了，然而我的百度蜘蛛为啥跟着它一起不来了呢。啥子原因哟小破站 http://www.yingniu888.cn/ ……
928
浏览
为啥我的小说站不收录内页呢 Robots Site 吐槽 Sitemap
新站上线半个月了，老域名。主动推送+robots推送+sitemap=就是不收内容页。是不是该再等等呢。小说站www.147t.com大神帮我看看行吗。顺便吐槽一下这个百度站长工具sitemap一直在等待中，抓取频次是上个月的，索引还没出来……
927
浏览
如何设置禁止蜘蛛抓取得得cms index.html页面 CMS Robots 得得
目前蜘蛛抓取的.com和.com/index.html 如果在robots.txt 文件禁止index.html页面会不会有事 ,因为这两个是一个页面……
926
浏览
926
浏览
Robots的校验工具，为什么一直显示的是请求出错，请稍后重试。 Robots 淘宝
<p>是这个网站设置了整站禁抓才显示这样，还是这个工具有问题 测试的淘宝<br></p><p><br></p>……
925
浏览
想问一下，大家在修改网站robots文件之后，多久会有效果 网站收录 Robots
最近修改了网站robots文件，导致网站收录出现了问题，现在又重新写了一下，想问robots文件多久能够在百度这里其效果。……
923
浏览
为啥通过robots.txt文件禁止百度抓取的页面一直不删除收录的页面 Robots 网站改版 百度收录 PHP
www.liangchen520.com 这个网站改版后，之前有一些老链接失效了，一直被百度收录，设置禁止抓取一直没有删除，几个月了。User-agent:* Disallow: /index.php/detail/cybq/17 Disa……
923
浏览
网站更换服务器，需要关闭A解析吗？ Robots 申请闭站 闭站保护 备案
手上有一个网站，以前是在香港的服务器上，现在要迁回国内，需要备案。应该如何进行？需要关闭或是暂定A解析吗？还是直接robots屏蔽或者申请闭站保护，那种比较好？……
921
浏览
求解~网站索引一万多，site只有三百多，百度反馈迟迟不生效 Robots Site 引蜘蛛
<p>网站目前索引数据正常，蜘蛛抓取正常，且索引数据一直在稳步上涨。每天都有发外链吸引蜘蛛抓取更新。但是就是<strong>site和搜索结果只有300多条</strong>。</p><……
915
浏览
求解答，为何百度蜘蛛总是来看抓取我的robots文件喃，其他页面也不抓取 Robots 404 百度蜘蛛
<p>求解答，我的www.cdljzc.com站点，为何百度蜘蛛总是来看抓取我的robots文件喃，其他页面也不抓取，就盯着robots文件来，一天来抓取几十次，但我也没有robots文件，返回404，，其他页面也不爬，怎么解决……
913
浏览
什么是robots.txt文件？ Robots
什么是robots.txt文件？robots.txt文件是用来干啥的
912
浏览
我的网站上线并收录后又写了robots会怎么样？ Robots 内容采集
我的网站上线并收录后又写了robots，后来改动完成取消了robots收录却一直没有变化，现在网站已经一个多月了。网站内容采集信息较多，是不是被百度列为沙盒期了。……
909
浏览
robots设置中我想屏蔽以tem开头的目录怎么设置? Robots
robots设置中我想屏蔽以tem开头的目录怎么设置?第一种：Disallow: /tem*/ 第二种：Disallow: /tem*/是第一种设置有效还是第二种设置有效？……
907
浏览
为什么百度快照更新了好几次就是不更新，还是原标题跟描述。兄弟们有遇到过这个问题吗？ Robots 百度快照 快照更新 百度资源平台
robots没有拦截，访问网站时确实是改了，但快照就是更新不成功，还有百度资源平台那个robots更新一直提示请求失败。……
906
浏览
网站抓取频次突然降到0是怎么回事。已经三天了 Robots 抓取频次
<p>1、抓取频次突然降到0，已经三天都是这样。 </p><p>2、抓取诊断昨天还可以抓取成功，但今天一直在都处于抓取中 </p><p>3、我网站robots.txt里面并未禁止蜘……
906
浏览
新站，通过查看日志发现百度每天来抓取几次robots文件，大家都放置robots文件了吗？ Robots
如题总觉得现在做SEO是不是放置robots没什么必要，毕竟也不会防止搜索引擎抓取什么，而且即便放置了，搜索引擎一般也是照抓不误。现在大家还都写robots吗？……
904
浏览
meta robots标签不区分大小写，对吗？ Robots
meta robots标签不区分大小写，对吗？
902
浏览
百度站长网robots错误码：500 Robots
前几天网站变慢，更新把环境和程序装了一下，之后查看百度站长网更新robots，出现，您的服务器配置有误，百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500。是什么意思？……
900
浏览
看日志百度蜘蛛都不理我写的robots Robots 百度蜘蛛
这是啥子原因呢
899
浏览
修改了robots.txt和地图后首页不见了，怎么回事？ Robots
前天手痒把地图和robots.txt重新弄了下载上传了，结果昨天网站首页就找不到了，怎么回事？……
898
浏览
老站蜘蛛从来不爬去内页,求大神帮看robots是否设置有误？ CMS Robots 备案
<p>易优的CMS，老域名建的站且已经一年半了，首页蜘蛛每天来很多次，百度收录了三四百条（首页及栏目页面），移动权重2，但蜘蛛日志显示百度蜘蛛从不爬取内页，首页来的多，会爬栏目页面，但内页不爬去也不收录。未备案。</p&g……
898
浏览
我的网站有一个后台Robots.tet要怎么弄 Robots
上面说通过Robots.tet告诉那些能抓取哪些不能抓取，不能抓取的会给予权重吗？大神教教要怎么弄……
897
浏览
一条多年的老域名，上线3天了一个百度蜘蛛都不来 Robots 老域名 文章
不知道是个什么鬼。我一个多年历史的老域名，上线3天了，一个蜘蛛都不来怕。用模拟蜘蛛能够正常访问。robots文件也确保没问题。也绑定了站长平台。每一篇文章都推送到百度的，但他就是一个蜘蛛也不来……
894
浏览
robots更新问题，从禁止所有蜘蛛抓取，到允许蜘蛛抓取已经调整过了。快照未更新 Robots 百度收录 索引
新站长时间使用robots禁止所有蜘蛛抓取，但还是被百度收录了，快照显示，网站标题下方，提示由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述 ，，robots.txt已经更换为允许蜘蛛抓取，……
893
浏览
有没有做金融网站SEO的大神，看看我的这个站怎么回事，做了几个月了，网站还没有放出来！ 数据库 Robots 代码 文章
<p>说一下这个网站：刚刚上线的时候，代码都没有完整，很多死链接后台数据都是写死的，因此把robots.txt屏蔽了，现在已经把网站数据库调用完了，也把robots.txt文件放开了，而且每天更新伪原创文章（因为金融行业，写原创……
