1712
浏览
如何让网站屏蔽废蜘蛛 Robots Nofollow 根目录 代码
机呼科技：http://www.yqbing.com/一般情况下，网站建立并运营之后总是希望被搜索引擎收录的数量越多越好。但这只是通常情况下，大部分人所希望的。有些时候，我们还是会希望搜索引擎蜘蛛不要访问网站的某些文件夹，当然也有不希望搜索……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1710
浏览
网站降权了怎么做？我改了标题，要等多久能恢复？ 网站降权 Robots
我的网站http://www.glmianshi.com/，之前因为不是用的虚拟域名做的网站，是一边做网站一边改，robots还禁止过一段时间，感觉后面是降权了，标题都搜不到。现在很蛋疼……
1706
浏览
请问新站多久能有百度关键词排名？网站文章更新频率、质量是怎样的？ Robots 搜狗
我现在维护的网站域名已经1年9个月了，但是一直没打理，之前网站文章内容都是摘录的。我刚开始打理这个网站，为防止之前摘录的文章防止网页质量，已经将那些文章编写在robots文件，禁止爬虫爬取了。现在没有关键词排名，打算一直发布高质量的伪原创内……
1702
浏览
动态链接能够正常访问，而且是首页，如何把这个链接处理成死链？ Robots 百度收录 动态链接 PHP
http://www.XXXXXXX.com/index.php?s=/music/274851424.html现在百度收录了好多像上面的这种动态链接，全都是首页的，而且链接有规律可循，对于这样的链接怎么处理？除了设置robots这种方法……
1695
浏览
robots禁止抓取某个链接如何写? Robots
禁止抓取网址URL，网站robots禁止抓取某个链接怎么写？具体如何操作，哪位大神指点一下，我想禁止不让抓取页面的URL，禁止后蜘蛛也不抓取了，也不收录了？……
1691
浏览
为什末robots文件，用百度站长检测所有路径全部允许，而用爱站检测则是正常呢？ Robots
<p>为什末robots文件，用百度站长检测所有路径全部允许，而用爱站检测则是正常呢</p><p>爱站检测结果</p><p><br></p><p>……
1686
浏览
技术不小心robots 设置禁止抓取了，几天没抓取了？ Robots
www.huiquanbao.com 技术不小心robots 设置禁止抓取了，现在好几天没抓取了，快照都显示禁止抓取了，要怎么办？？……
1682
浏览
网站提交好久了，没有收录！ Robots 网站提交
http://www.szesky.com.cn/之前被robots禁止抓取，现在改了，提交两周了，怎么还没收录啊，哪位大神帮忙看一下……
1680
浏览
什么是robots文件？ Robots
网站里面robots是用来干什么的，主要作用是什么...
1678
浏览
百度蜘蛛为什么大量抓取网站的图片 Robots 网站日志
百度蜘蛛为什么大量抓取网站的图片？查看网站日志发现几乎蜘蛛抓取的百分之95都是网站的图片，为什么，是不是需要robots禁止一下抓取图片……
1678
浏览
robots文件上传 Robots 根目录
我的一个虚拟主机上面，有3个网站。robots需要放在根目录下面，但是又3个网站，请问名字怎么设置。不设置的话，就重复了，也放不了，谢谢！……
1677
浏览
首页nofollow 标签和robots 协议里面的抓取规则重读了么？ Robots Nofollow
如果我提交了robots不抓取某个链接，然后又在这个链接添加了nofollow标签，这样重复优化了么？……
1675
浏览
请大家一起来看看这个问题！ Robots 友情链接 PHP
今天 在交换友情链接的时候发现对方网站中robots.txt文件存在一个问题，里面的内容如下：User-agent: * Disallow: /gb.php Disallow: /gb2.php Disallow: /parse.php D……
1675
浏览
robots文件无法正常访问的问题！如图 Robots
<p><br></p><p>这个是什么原因呢 有谁知道</p>
1658
浏览
robots这么写可以么？？ Robots Site Sitemap
User-agent: * Sitemap: http://www.anrui777.cn/sitemap.txt Sitemap: http://www.anrui777.cn/sitemap.xml Sitemap: http://ww……
1653
浏览
如果用robots禁止百度抓某个目录下的页面，那之前该目录下已收录的页面搜索结果会被删除吗？ Robots 搜索结果
如果用robots禁止百度抓某个目录下的页面，那之前该目录下已收录的页面搜索结果会被删除吗？比如搜索引擎之前已经抓取了：http://www.epanel.cn/preview/下的页面，我把/preview/禁掉，之前收录的页面还会被搜索……
1651
浏览
如何把已经收录的收录了的页面删除 Robots 排名
我的站robots文件已经禁掉了 但是还是有排名展现 现在我不想要排名展现 但是我又不能停域名只是不要排名，网站还得可以正常访问该如何操作啊大神们？……
1649
浏览
请问有没有大神知道如何用Robots文件禁止百度蜘蛛抓取异常链接？ Robots 抓取异常 404
<p>是这样的一个情况，我每次提交404死链的时候，我都会发现有一个异常链接，而这个链接是跟在我的域名后面的，我不知道为什么递交了好几次404死链，删除了，要不了了解就又有了，我查询过那个域名是一个养鱼的网站，于是我被百度反馈，……
1649
浏览
网站改版时候设置了robots屏蔽搜索引擎抓取，现在取消了还不抓取，怎么办？ Robots 网站改版
之前网站在改版的时候设置了robots屏蔽搜索引擎抓取，中间可能持续了有一个月左右时间，现在网站已经改版完成上线，解除了robots屏蔽；但在百度搜索网址，仍然显示“由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统……
1648
浏览
网站突然被降权，这种情况应该怎么办？ 网站收录 Robots 移动端 索引
<p>6月12号开始发现网站百度来路在下降，但是网站我未进行过任何修改，只是每天正常更新。不知道什么原因。</p><p>中途发现网站服务器占用高，我就优化了下服务器。网站收录内收录了很多用户登录界面，我就……
1645
浏览
robots文件如果限制蜘蛛抓取图片，会不会影响搜索结果中的站点图片 CMS Robots 搜索结果
<p>如下图，织梦CMS网站，我在robots的文件中限制/skin目录和uploads目录的图片 蜘蛛抓取会不会影响百度搜索结果的站点图片，或者搜索结果中就不带着图片了</p><p></p>……
1639
浏览
急求大神帮解答，搜索关键词时候网站描述说的是robots指令了，这个怎么解决 Robots
<p><br></p>
1634
浏览
百度这几天为什么都不抓取我网站了，不知道是不是更改了链接地址的缘故，但是都做了404 Robots WordPress 宝塔 404
<p><br></p><p><br></p><p>这个是宝塔面板的网站监控，上面显示这几天蜘蛛是少只又少，网站是用<span>wordpress……
1629
浏览
1625
浏览
把robots.txt文件里的网站地图链接换成别人网站的地图链接百度抓取吗 Robots Site Sitemap
把robots.txt文件里的网站地图链接换成别人网站的地图链接百度抓取吗 ，比如这个网站地图Sitemap: http://www.99ruanjian.wang/sitemap.xml我把他放在其他网站robots.txt文件里，这样算……
1620
浏览
如果网站做了有TAG标签，但是又想通过robots禁止访问动态页面，该怎么办？ Robots Tag标签 404
问题：是这样的1、网站做了有TAG标签2、但是想在robots里面设置禁止访问动态页面该怎么设置，才能既能禁止访问动态页面，同时又能不影响TAG标签带来的SEO优化。大家是怎么写robots的呢？那些做tag标签的网站是怎么写404的呢？……
1613
浏览
自适应商城站点 添加"canonical"标签 解决重复页面的问题 Robots canonical 排名 跳转
如题 站点为商城站点 会产生大量的动态URL被收录出现了大量的重复页面 且无法301 robots也封禁了所以添加了"canonical"标签 好让百度确定主要链接但是在 跳转适配里 也同样的用到了"canonical"标签疑问就是 自适……
1610
浏览
网站用了robots屏蔽了，现在解开了，怎么快点让百度收录啊？ Robots 百度收录
http://www.9999cyw.com 网站用了robots屏蔽了，现在解开了，但是现在一直不收录，怎么快点让百度收录啊？已经提交了。……
1604
浏览
今天百度的蜘蛛是不是抽风了？抓取诊断一直是抓取失败 Robots
<p>如题，就连落地检测都提示链接失败。但是直接访问网站 http://www.jiuyao66.com 是正常的。</p><p><br></p><p><br&g……
1601
浏览
自己亲身经历做seo一年了，关键词只有一个，心碎 Robots Site 文章
网站刚满一年，收录了八十个页面，都是以前收录的，中间停更一段时间，现在再更新就不收录了。百度抓取也有每天10次左右网站site地图也提交了robots也有 检测也正常花费了巨量时间，文章都是自己手打的，基本上大部分算原创了。现在急切需要知道……
1597
浏览
百度蜘蛛爬取不存在的目录，导致大量404链接 Robots 404 百度蜘蛛
<p>百度蜘蛛爬取不存在的目录，导致大量404链接！已经用www.gjtt.net/robots.txt屏蔽了一段时间为什么还是会这样？大家有没有遇见过这样的情况</p><p><br><……
1590
浏览
主域名与二级域名解析到同一个程序了如何禁止二级域名？ Robots 二级域名 域名解析
www.a.com 跟 aaa.a.com 解析到同一个程序跟内容 那我在robots.txt中如何写 禁止aaa.a.com的蜘蛛抓取呢？……
1588
浏览
robots.txt 文件如何禁止搜索引擎访问某个目录？ Robots
robots.txt 文件如何禁止搜索引擎访问某个目录？
1587
浏览
网站 robots是禁止抓取？ Robots
我以前有个站，建站期间robots禁止了所有抓取，百度还把我首页收录了。
1586
浏览
网站被人黑了，我改如何解决 Robots 关键词排名 网站标题 排名
我网站关键词排名首页的时候，有人修改我网站Robots文件，网站标题，关键词，描述都给我改了，我改怎么办，报警有用吗，这都已经好几次了……
1584
浏览
app.lzdxedu.com的robots.txt好像出问题了？文件应该禁封了所有网页， Robots Site APP
<p>但实际site：app.lzdxedu.com有收录，怎么回事？</p><p><br></p><p><br></p><p>&l……
1581
浏览
1565
浏览
网站robots怎么写了 Robots
<p><br></p><p>www.3sjtw.com www.aiidol.com www.nanry.com 三个网站的robots.txt都是这个问题，该怎么搞啊</p……
1556
浏览
站内文章收录不稳定，请问下各位是怎么回事？求解答 Robots
公司网站http://www.tonghanglawyer.com/昨天收录71，今天再去查看是收录57，网站地图、robots文件也有上传，文章也有更新的，求救各位seo朋友帮帮忙，感激不尽……
1555
浏览
百度站长自动推送如同摆设（有偿寻解决方法） Robots 网站日志 百度蜘蛛
每天不停给百度主动推送链接，可网站日志一直没有百度蜘蛛的爬行记录，网站robots并没屏蔽百度，网上找搜索答案都是什么质量低，不想怼这些人，连蜘蛛的爬行数据都没，何来质量低；有没有哪位兄台能解决这个问题。……
