Robots

robots是给百度蜘蛛快速识别的吗？ Robots

robots别的还可以有哪些用处？

robots.txt文件不存在文件错误是什么情况？ Robots

这种情况如何处理？robots.txt文件不存在文件错误！

saas模板robots.txt修改后咋没变化，已经去除了下面的Disallow，但访问时Disallow居然还在 Robots

请教百度收录伪静态的问题！ Robots 伪静态 PHP

我的站是用php动态做的，最近改成了伪静态，请问我要怎么让百度只收录伪静态呢，我现在的robots是这样写的  大家看看这样可以吗User-agent: *Disallow:/*.php$ ……

我的robots写的有点多，这样会不会不利于爬取？ Robots 站长工具 百度站长工具

<p>如下图，因为网站有很多页面的内容是完全一样的，只不过url不一样，为了避免搜索引擎重复收录内容，我写了这个robots，写的条目有点多，不知道这样会不会给搜索引擎打来判断上的工作量？不知道像这样条目太多会不会影响搜索引擎对……

最新网站降权，robots.txt也抓取不了 Robots h2 阿里云

最新网站降权，robots.txt也抓取不了，用百度云的服务器就是抓取不了，但是用阿里云的却可以，我线上给百度站长提供了解决需求也不解决。下面是我的反馈案例：你好，我的robots 线上可以正常访问的，地址：http://www.1stdy……

Robots文件设置一般怎么设置的 Robots

robots.txt文件里提交了网站地图，还有必要在网站首页提交网站地图吗？ Robots

robots.txt文件里提交了网站地图，还有必要在网站首页提交网站地图吗？

什么是CCbot Robots 网站日志 文章

<p>如题，很多站长在分析网站日志的时候就会发现各种各样的事情，也有很多不知名的蜘蛛陆续的到来，今天就出现了一个好久都没见过的CCbot，今天来给大家分享下</p><p>CCbot，全称为Common C……

为什么我的robots文件检测报告是这样显示的？ Robots

<p><br></p><p>所有规则都挤在一个框框里。。。。</p>

robots协议通配符问题 Robots 百度百科

<p>关于robots协议到底能不能用通配符呢？百度百科说不能。到底能不能呢？？？</p><p><br></p><p><br></p><p……

我已经提交死链了 但是百度蜘蛛每天还去抓取 这个该怎么办？ Robots 百度蜘蛛

<p>我已经提交死链了 但是百度蜘蛛每天还去抓取 这个该怎么办？   （</p><p>Robots也有做屏蔽）<br></p><p></p>……

百度站长抓取诊断问题！ Robots

<p><br>提示其他错误，然后报错了IP喝更新IP和robots   过几分钟，再次诊断，又正常了，不是一个链接这样，基本都这样！</p>……

备案网站挂bc、sq推广链接会被惩罚吗？ Robots 备案

做外链转内链，然后robots禁止抓取怎么样，或者还是有别的办法吗？

robots文件中，user-agent 代表下面的规则适用哪个蜘蛛，对吗？ Robots

robots文件中，user-agent  代表下面的规则适用哪个蜘蛛，对吗？ 

sitemap.xml需要使用robots屏蔽百度抓取吗？ Robots Site

sitemap.xml需要使用robots屏蔽百度抓取吗？

空压机行业网站只收录新闻页面不收录栏目页面 CMS Robots PHP phpcms

网站程序PHPCMS，原来页面都是动态的地址带?那种，全站作静态化 生成HTML页面后，发的新闻正常收录，栏目页面一个都没收录，已经持续3个月了。大家帮我找下原因谢谢了啊 www.whsoar.comrobots这样写的：# # robot……

百度站长平台robots更新失败 Robots 站长平台

<p><br></p><p><br></p><p>域名：https://www.zide360.com，新改了robots文件，百度站长平台提示：百度暂时无……

网站被篡改后，批量生成了很多首页快债 Robots 动态链接

<p>网站前段时间被挂链接了，篡改页面了，持续了几天才完全清除，但是首页生成了很多动态链接 </p><p>类似<a href="https://XXX.cn/?id=rqswv"……

为啥百度的robots.txt请求失败，是我的问题还是百度的问题 Robots

<p><br></p>

谁会做robots? Robots

http://www.ayztsj.com

网页被robots屏蔽了，不是说屏蔽了以后就不会被抓取和收录了吗？ Robots 网站日志 日志分析

为什么我网站的网页被robots屏蔽了之后，我从网站日志分析后还会能看到被蜘蛛抓取和收录呢？不是说屏蔽了以后就不会被抓取和收录了吗？……

有趣的问题！网站不兼容ie在使用ie访问时提升用户升级浏览器，导致抓取出错 Robots 浏览器

<p>给首页加了判断，当用户使用ie访问时，会提示用户浏览器版本过低升级浏览器，做了这个之后百度抓取首页标题成了提示页面的标题如下</p><p><br></p><p>这……

没有robot文件，但是首页页面律师提醒： <meta name="robots" content="nofollow" /> 这个对于蜘蛛爬行 或者说友情链接 有什么影响吗？ Robots 友情链接 Nofollow

帝国cms的robots怎么写呢？ CMS Robots 帝国CMS

帝国再带的Disallow: /d/ Disallow: /e/class/ Disallow: /e/config/ Disallow: /e/data/ Disallow: /e/enews/ Disallow: /e/update/ ……

哪位大佬帮我看看 我这个网站的robots该如何设置？ Robots

哪位大佬帮我看看 我这个网站的robots该如何设置？ https://www.bbnep.cn/

网站上线50天了，内容更新了70篇，百度、360都未收录，求诊断 Robots Site 同IP Sitemap

网站http://www.wangyushi.net 上线50天了，内容每天正常更新，到现在已经有70篇内容了，也交换了一些友情链接，但不知道为什么一直没收录，在百度站长平台提交了sitemap.xml文件，抓取诊断也都正常，而且速度也还不……

你们的Robots更新得了吗？ Robots

在百度资源后台，你们可以更新网站Robots？，好像一直更新不了，不知道大家是否一样

想屏蔽抓取问号后面的网址，robots要这么写呢？ Robots

最近收录了很多 http://www.xxx.com/?mType=Group 这样的网址，问号后面的字符是随机的，如果想屏蔽要这么写呢？谢谢大佬Disallow: /?* 这样写对吗还是要 Disallow: /?*=*……

竞价的首页动态url被大量收录，如何处理？ Robots canonical 竞价

<p>站点是手机站，刚接手的时候发现站点收录全是首页的，仔细一看是首页用来做竞价了，于是带有各种参数的动态url（如：<a href="http://m.guanlingls.com/?source=baidu&……

robots文件中一个字母的错误，可能造成致命的影响，对吗？ Robots

robots文件中一个字母的错误，可能造成致命的影响，对吗？

网站登录页面链接用不用做robots？ Robots 网站日志 排名

<p>今天看了下网站的流量，发现大部分的流量都是用户登录所致，那么请问这种不做排名的登录页面用不用做robots?我看了网站日志没有发现爬虫抓取这个登录页面的记录，但是用百度抓取诊断这个链接也能抓通。</p><……

网站首页被K，百度降权了，大家帮我看看可能是什么原因？ 网站被k Robots 首页被K 文章

网址：www.chinazz.org.cn说明：12.19日开始掉词，发现robots被修改为屏蔽所有抓取，赶快改回来了，之后就一直掉；在排查原因，可能性：1、近期采集政府公告文章；2、标签添加大量关键词，过度友好；3、以前添加的有些外链网……

网站不收录一般都是哪些点没做好？ Robots 老域名 JS 排名

一：域名垃圾很多seo小白搭建网站，前期对于seo知识相对匮乏，胡乱的使用模板搭建好了一个站点，后期苦等着一个星期、两个星期、一个月都不见网站内容收录。其中网站、内容都是用心做的，便百思不得其解。后经过圈子内部的人查了一下网站历史，才发现域……

robots文件怎么写？ Robots

那个，谁能帮帮忙写个robots?

各位大神，robots该怎么写，蜘蛛抓了很多PHP,HTML页面 Robots PHP

有分享一下借鉴一下吗？

新站一周都没收录 感觉也是废了？ Robots

百度https 也认证了， robots也加了。

求助：请问下站长显示：您的robots文件设置了重定向跳转,暂时无法查看。这个是怎么回事呀 Robots 跳转

www.weileit。Com   网站改版后一直不收录，友情链接也检测不到，站长提示：您的robots文件设置了重定向跳转,暂时无法查看，请问下哪里有问题呀……

在静态页面上使用动态参数，会造成spider多次和重复抓取，这个问题怎么解决？ Robots 动态链接 静态

<p><br></p><p>如图，这动态链接怎么怎么解决？写进robots.txt里？</p><p>有没有更好的办法？</p>……

搜狗蜘蛛robots能不能屏蔽掉？ Robots 搜狗

可以屏蔽了搜狗蜘蛛吗？