1362
浏览
百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：403 Robots
通过百度资源管理平台查看robots文件的时候，提示百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：403,这是什么原因，要咋解决啊？……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
1370
浏览
你们的robots文件都是自己写的吗？大神能给介绍一下吗 Robots
<p><br></p>
1268
浏览
备案网站挂bc、sq推广链接会被惩罚吗？ Robots 备案
做外链转内链，然后robots禁止抓取怎么样，或者还是有别的办法吗？
2752
浏览
robots.txt必须要做吗？ Robots 404
网站之前做过robots.txt，但是后来不知什么原因被技术删掉了，现在从百度里面检测显示的是404。请问没有robots.txt行不行？百度官方说：如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。那么不建立可以吗？……
2261
浏览
robots用法怎么禁止抓取一个链接 Robots
一个外链xxx转换成内链https://www.某某某.com/go/zw想要禁止抓取这个内链在robots.txt里写Disallow: /https://www.某某某.com/go/zw写法正确吗？……
1397
浏览
请问，需要把网站.js及.css后缀写入robots么 Robots JS
比如网站路径xxx.xxx/skin/css/model.css还有xxx.xxx/skin/js/jquery-1.8.3.min.js这种路径得需要写入robots么？需要得话格式要怎么写呢？是这样写么？Disallow: /skin/……
932
浏览
2633
浏览
真心求教：百度蜘蛛为什么抓取根目录的文件地址，而不抓取我的伪静态地址 推荐热议 Robots Site 代码 静态
<p><br></p><p><br></p><p><br></p><p>前提概要，这个是我的一个新站，在上线前就做好了伪……
1177
浏览
新站，通过查看日志发现百度每天来抓取几次robots文件，大家都放置robots文件了吗？ Robots
如题总觉得现在做SEO是不是放置robots没什么必要，毕竟也不会防止搜索引擎抓取什么，而且即便放置了，搜索引擎一般也是照抓不误。现在大家还都写robots吗？……
1329
浏览
帝国cms的robots怎么写呢？ CMS Robots 帝国CMS
帝国再带的Disallow: /d/ Disallow: /e/class/ Disallow: /e/config/ Disallow: /e/data/ Disallow: /e/enews/ Disallow: /e/update/ ……
1786
浏览
网站上线几天了，怎么连首页都没被收录 Robots
网站上线几天了，怎么连首页都没被收录。在百度主动提交了链接。结果连一只蜘蛛都没看到。之前做的站，解除robots禁令后，第二天就收录了。难道是百度现在更严了，哪位高手帮看下http://www.zhyt16899.com……
1103
浏览
小白自学我自己每天做的事情 Robots Site 404 排名
接触SEO时间不长 现在负责管理一家企业网站之前刚开始做的时候很无奈什么都不懂什么也不会做就是睁眼瞎。根据一些了解自己现在目前掌握技术有限写一下我的一天的级别的流程（希望高手大师知道留言如图去操作）1每天早上一上班就打开电脑查询网站首页的排……
1736
浏览
如果用robots.txt屏蔽所有后缀为aspx的文件 Robots
我在robots.txt中写的是Disallow: /*.aspx$，但是好像还是抓取，请教一下该如何写
1763
浏览
网站不写robots文件到底有影响没？ Robots
之前接触的站点都有写robots文件，发现了有些大站点也没有写robots文件，查找了一些资料但是分歧比较严重，有说要写的，又说不用写的。小弟目前都被弄混了，请问大家的网站有没有写？……
1117
浏览
网站robots文件怎么样写才是最好的？大家看看我这个网站设置的对吗 Robots
之前刚改过一次，现在这个robots.txt文件有什么问题吗？ kaoquany.com 烤全羊网站
1010
浏览
Disallow: /*ox* 这是什么意思？有谁知道吗？ Robots
我的网站robots.txt文件里设置了这个，对网站有影响吗？蜘蛛都不来抓取了
1088
浏览
你的网站长时间不收录是不是也遇到了这个问题 Robots 站长工具 百度收录 文章
之前做了一个新站，文章内容全部都是原创的，提交给了百度等着收录，天天盼着，一个半月过去了都没收录成功。当时信心满满的认为是百度出了问题，或者是什么沙盒啊之类的反应，每天继续坚持更新着文章，但三个月过去了依旧没收录，这时候就有点着急了。开始检……
884
浏览
网站一些图片内容需要屏蔽了吗? Robots 文章
网站里一些图片内容，我不想让搜索引擎抓取，只抓取文字就可以，是不是需要屏蔽，屏蔽后我的内容还能正常显示吗？robots.txt，需要屏蔽图片吗？一篇文章如果已经有收录了，修改后还会重复收录吗？……
1735
浏览
sitemap.xml与sitemap.html这两个哪个更顶用？ Robots Site Sitemap
如题我做SEO这么久了有个同事也是这样问我现在许多做SEO的都会搞个网站地图一般我会直接做个xml的就算搞定了毕竟 搜索引擎对 xml 网站地图还是非常 适用的但是我也有看到 适用html的请问这两个哪个更顶用些？目前搞的我做了两个版本的s……
1228
浏览
想问一下，大家在修改网站robots文件之后，多久会有效果 网站收录 Robots
最近修改了网站robots文件，导致网站收录出现了问题，现在又重新写了一下，想问robots文件多久能够在百度这里其效果。……
1409
浏览
robots.txt文件已经删除了，但是网站显示被限制抓取了怎么办？ Robots 站长工具
<p>robots.txt文已删除，什么时候搜索引擎才会再抓取我们网站，我看站长工具已经好几天没有来抓取了</p><p><b></b><i></i><……
2047
浏览
站长工具robots检测一直显示请求失败， 好久了，换浏览器也不行，你们有没有遇到这个问题？ Robots 站长工具 浏览器
<p>站长工具<br></p><p>我的网站咪噜游戏：<a href="http://https://" target="_blank" clas……
1840
浏览
robots文件打开是乱码 Robots 乱码
<p></p><p>打开是这样，正常吗？还是我打开的方式不对？<br></p>
1429
浏览
今天用百度站长工具测试一下robots出现问题了，大家会不会这样还是只有我这样？ Robots 站长工具 百度站长工具
<p><br></p>
1273
浏览
想问一下，大家在修改网站robots文件之后，多久会有效果 网站收录 Robots
最近修改了网站robots文件，导致网站收录出现了问题，现在又重新写了一下，想问robots文件多久能够在百度这里其效果。……
1131
浏览
求教！robots检测结果是这样？什么意思？会影响收录吗？ 网站收录 Robots
<p>刚才检测了一下网站的robots，这三个页面代表什么呢？查了查也没有头绪，会影响蜘蛛爬行结果么？对网站收录有影响吗？</p><p><br></p>……
1855
浏览
如何解决Discuz 域名后面带?+乱码可以访问网站而且被百度大量收录呢 Robots 乱码 Discuz 404
<p></p><p></p><p><br></p><p>这个问题很早就发现了 也在robots.txt 做了Disallow: /*?*屏蔽 但……
1425
浏览
1132
浏览
网站robots文件这样写的格式对了吗 Robots
<p><br></p><p><br></p>
1349
浏览
为啥百度的robots.txt请求失败，是我的问题还是百度的问题 Robots
<p><br></p>
2158
浏览
蜘蛛抓取频次骤降，什么原因 Robots 抓取频次
<p><br></p><p>可能嫌疑的相关操作：</p><p>1、13号进行首页改版</p><p>2、18号修改robots，只是在原有基础上取……
1599
浏览
用百度统计检测我的robots，现在无法连接服务器，是什么问题？ Robots 百度统计
<p>百度统计检测robots，显示 “百度暂时无法连接您的服务器，请确保您网站的服务器工作正常。”</p><p>是不是我的网站服务器有什么问题啊，我自己也是觉得有问题，但是不知道问题出在哪</p&……
907
浏览
robots 有问题吗 Robots
<p><br></p>
966
浏览
robots文件要怎么写才合适 Robots
922电影http://www.922dy.cc/
1128
浏览
robots文件要怎么写才合适 Robots Site Sitemap
<p><br></p><p>这个是爱站网seo工具包生成网站sitemap时自动生成的robots文件，内容是不是过于少了 </p><p>需要加什么吗 </p……
1576
浏览
我的robots这样写可以吗？把所有的sitemap都写上去了 Robots Site Sitemap
<p><br></p><p>网站是www.gdjinglan.com，6个都写在robots里面了，会不会冲突</p>……
2039
浏览
搜狗老是不收录网站首页该怎么办？ Robots 搜狗
<p>我的是公司网站（www.wanhu888.com）百度已经收录23万多，360收录8万多，但就搜狗零搜索，robots也没限制抓取，申诉、每天提交链接，做外链都没用，恢复站站邮件给予答案是：</p><p&……
2238
浏览
网站出现大量404怎么处理？ Robots 404页面 404
已经将404页面提交死链了，但是好几天了还是没有效果，还没处理掉，首页都降权了，有其他办法吗？robots屏蔽掉可行吗www.js-teacher.cn……
1574
浏览
跳转链接怎样从302变成301，在线等高手解答！ Robots PHP 跳转
如题：我的链接是www.xxxx.com/p/go.php?id=814&zm=1，其中814是文章的ID，相当于每篇文章都有这么一个跳转链接，跳转至第三方平台。而www.xxxx.com/p/go.php?id=814&z……
1709
浏览
robots.txt文件放在哪里 Robots
robots.txt文件放在哪里
