1465
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1459
浏览
新站不收录问题：之前没有发现robots文件一直是屏蔽中，现在改了但是蜘蛛在也不来了 Robots
之前我没有发现我的robots文件屏蔽了蜘蛛，发现后立即改了，然后提交给百度，文章一直更新，但是看了蜘蛛抓取，一直没有来蜘蛛过，怎么才能让蜘蛛重新来到网站抓取呢……
1457
浏览
如何快速度过新站沙河期 外链建设 Robots 引蜘蛛 排名
第一、蜘蛛未访之前，定要先铺满内容当一个网站上架后，首先要把网站内部该铺满的地方先铺满，不要有落空的地方。简单的说若是博客的话，那么你每个栏目里面都至少要有1~2篇的文章，这样的话当你去引蜘蛛过来爬行的话，至少可以保证蜘蛛所到之处都有东西爬……
1454
浏览
1453
浏览
求破解：6月28日robots误屏蔽蜘蛛，截止目前收录未恢复，搜索结果页未更新。 Robots 网站日志 收录率
<p><b>问题链接：</b>www.kuajingyan.com </p><p><b>问题描述：</b>已收录页面消失，搜索结果页未更新</p>……
1451
浏览
今天百度站长robots检测一直显示请求失败yytsp.c-click.top你们有没有遇到这个问题 Robots
<p>今天百度站长robots检测一直显示请求出错，请稍后重试。前几天都挺好的yytsp.c-click.top你们有没有遇到这个问题</p><p><br></p>……
1451
浏览
首页被收录后，内页没有收录 Robots 同IP JS 404
机呼科技：http://www.yqbing.com/网站首页收录了。但是内页不收录原因： 1、主页因为权重高所以收录快，内页已经索引只是没有放出来，属于与百度建立信任期。 2、网站结构不友好，过多的js代码和flash以及iframe……
1448
浏览
查看robots.txt Robots
User-agent: *Crawl-delay: 10 无论使用哪种用户代理， 都应该在两次下载请求之间给出10秒的抓取延User-agent: GooglebotDisallow: /loginDisallow: /logoutDisa……
1447
浏览
网站robots文本有什么用。 Robots
网站的robots被限制了，如何设置啊！高手指导多谢了。
1446
浏览
百度收录了我禁止的页面，且这个页面内容低质，但却排名还挺好，什么原因？ Robots 百度收录 排名
<p>百度收录了我禁止的留言消息页面<a href="https://m.ylqx.qgyyzs.net/ylqx/dl2015792.htm" data-url="m.ylqx.qgyyzs……
1442
浏览
进来分析一下Robots文件为何检测不到？？有遇到过这情况吗？ Robots
<p><br></p>
1440
浏览
问一个robots文件的问题，求大佬解惑。 Robots
是这样的，网站用织梦模板做的，因为模板自动生成的手机端页面都是动态页面，如果我在robots文件加了Dissallow: /*?*屏蔽动态页面的话，那么会影响手机端的收录以及排名吗？robots文件文件在根目录，手机页面在/m/文件夹。……
1438
浏览
1436
浏览
新站提问：百度蜘蛛疯狂抓取wp-json这个目录，请问对网站有什么影响吗？ Robots JS 宝塔
萌新做了个新站，在宝塔后台开通付费统计插件，发现百度蜘蛛疯狂抓取wp-json这个目录，请问这个目录文件有什么作用？百度蜘蛛抓取这个目录对网站有什么影响吗？有没有方法禁止百度蜘蛛抓取？目前我通过添加 移除头部 wp-json 代码，robo……
1435
浏览
网站robots百度访问不了301什么情况 Robots
<p><br></p>
1434
浏览
百度搜索引擎的蜘蛛总是直接抓取老网站（已下线），而很少光顾新网站 Robots 老网站 文章
大家好，我司网址是www.bbtroom.com。百度搜索引擎的蜘蛛总是直接抓取老网站（已下线），而很少光顾新网站网站10月改版（因为之前网站结构不利于收录而改版新网站的），老网站已下线，源程序放在C:\inetpub\wwwroot\ap……
1433
浏览
网站就是不收录robots没设置对？ Robots
# robots.txt generated User-agent: Baiduspider Disallow: User-agent: Sosospider Disallow: User-agent: sogou spider Di……
1432
浏览
1423
浏览
最近索引和排名都在跌，愁死了，求助 Robots 排位 排名
<p>经过我2个月的优化，前100从30多个增加到了90多个，不过不知道为啥，最近一直在掉，索引量也在掉，一天掉了一百多。而且最近收录也不行了，之前都是小时级收录，最快18分钟收录。淦。快排没做过。我个人觉得可能的原因：<……
1423
浏览
如何解决Discuz 域名后面带?+乱码可以访问网站而且被百度大量收录呢 Robots 乱码 Discuz 404
<p></p><p></p><p><br></p><p>这个问题很早就发现了 也在robots.txt 做了Disallow: /*?*屏蔽 但……
1421
浏览
搜狗蜘蛛（Sogou web spider）抓取robots 400问题 Robots
站长是https 站长，根据本人排场，搜狗蜘蛛抓取robots.txt的时候，使用url是：http://www.bangmangma.co:443/robots.txt因此返回错误是：400 Bad Request The plain ……
1419
浏览
如何自动https并且robots文件能被抓取？ Robots HTTPS协议 跳转
请问如果能实现让http协议的xxx.com www.xxx.com 以及https协议的xxx.com 自动跳转到https带有www的域名，并且还能够让robots文件有效被蜘蛛抓取到。 本人尝试过通过url重写 和config文件 3……
1417
浏览
如何设置robots才利于百度蜘蛛收录？ Robots 提升排名 百度蜘蛛（baiduspider）
如何设置robots才利于百度蜘蛛不爬取错误链接，促进收录？
1417
浏览
网站原来是动态的URL，2个月前做了伪静态，网站落地页也改版了。但是只收录了首页，site出来的，还有原来的动态页面收录，就是没有改版的伪静态内页收录。 Robots 伪静态 Site
网站原来是动态的URL，2个月前做了伪静态，网站落地页也改版了。但是只收录了首页，site出来的，还有原来的动态页面收录，就是没有改版的伪静态内页收录。写了robots屏蔽动态URL，还是没有用。没有做301，前一段时间日志分析，伪静态的U……
1417
浏览
给全站加nofollow标签有什么坏处没有？ Robots Nofollow
<p>代码：<meta name="robots" content="nofollow" /></p><p>参考网站：www.xczylt.com<……
1412
浏览
震惊！震惊！百度蜘蛛每天1万多抓取次数爬的页面，值得思考 Robots 百度蜘蛛
<p>每天蜘蛛全部跑到这个5个栏目了，关键这栏目没有任何数据，有没有知道这是什么情况？要不要在robots.txt中禁止抓取？这一万多抓取全浪费了，不抓页面</p><p><br></p&……
1412
浏览
CMS的地址和预览地址被百度收录了怎么屏蔽? CMS Robots 百度收录
后台CMS的地址和文章的预览地址被百度收录了。由于内容和主站重复，为了避免影响主站的排名和收录，想把这两个地址屏蔽掉。直接用robots吗？……
1411
浏览
网站添加了robots，神马和360索引就直线下降 CMS Robots
<p></p><pre># # robots.txt for EmpireCMS # User-agent: * Disallow: /*?* Disallow: /*#*</pre>&……
1403
浏览
robots文件打开是乱码 Robots 乱码
<p></p><p>打开是这样，正常吗？还是我打开的方式不对？<br></p>
1400
浏览
网站因为技术问题，设置错了robots文件，导致整站都不抓取，关键词下降非常严重 Robots
<p>一发现已经马上关闭了robots文件，目前的情况如下，这样需要多久才能够恢复正常呢？</p><p><br></p>……
1395
浏览
怎么在robots.txt 文件中添加代码告诉搜索引擎Sitemap的位置？ Robots Site
怎么在robots.txt 文件中添加代码告诉搜索引擎Sitemap的位置？
1382
浏览
一个网站可以SEO和SEM同时做吗？还是要分开做？ 数据分析 Robots SEM
如题，我想问下，我们公司只有一个网站，可以同时做SEO和SEM吗，这样对数据分析是不是不太好，比如转化来源、成本等。还是说需要再做一个镜像站，一个做SEO，一个做SEM，还有SEM的镜像站需要在robots里屏蔽爬虫访问吗？希望大神解答下，……
1381
浏览
robots.txt文件放在哪里 Robots
robots.txt文件放在哪里
1381
浏览
robots是屏蔽访问路径的吗？ Robots Nofollow
是屏蔽访问路径，和禁止指定目录抓取，不让别人看到，禁止目录？nofollow还是robots，这两个不清楚是哪一个禁止的了？……
1380
浏览
1379
浏览
robots.txt 文件如何禁止某个搜索引擎访问 Robots
robots.txt 文件如何禁止某个搜索引擎访问
1377
浏览
现在的网站内页及文章也搜索展现的都是动态url页面，静态页面也有些被收录，现在用robots屏蔽动态url会对权重或排名有影响吗？ Robots 301重定向 关键词排名
我随便去复制网站里的文章标题去百度，出来结果都是带？的，也就是动态，然后有的文章动态和静态都收录了，但更多的是动态的一定会被收录，静态的有些不会收录。目前的很多关键词排名都不错，差不多都在首页，一些指数上千的也在第二页，如果这个时候用rob……
1375
浏览
买的老域名已收录2W多页面，怎么提交死链？ Robots Site 老域名
买的老域名已收录2W多页面，怎么提交死链？收录的都是动态URL，百度站长后台也不提供通配符提交。百度 site:采集也只能采集到700多条链接，后面的就不是展现。robots文件也屏蔽了，百度不管，还是去抓取……
