Robots

robots问题 Robots 网站日志

<p>大神们帮我看看  我这个robots文件规则写错了，怎么禁止了，网站日志显示百度蜘蛛还在抓取admintlhb这个目录？？</p><p>然后这个我是不是要禁止一下skin这个目录</p>……

几个域名绑定一个网站，有什么办法可以让百度只收录其中一个域名，别的域名都不收录？ Robots

几个域名绑定一个网站，有什么办法可以让百度只收录其中一个域名，别的域名都不收录？前提是写不了robots.txt……

之前犯了个错误，ROBOTS把图片给禁了，昨晚刚刚改回来，这样会有利于收录吗？ 推荐热议 Robots 收录率 Site

请教一下大家，我的站  猫猫狗狗趣事   。之前犯了个错误，ROBOTS把图片给禁了，SITE没法出图，收录率也不高，昨天晚上改回来了，这样收录会有改善吗。……

我的网站现在还有移动端二级目录 Robots 移动端

我这边用robots屏蔽了，但是还是被收录怎么回事？http://www.ydiandtea.com/请大佬指导！

为什么我的网站百度收录就很多，360就只收录一个呢？求解 Robots 百度收录 Site

<p>最近想把网站www.merokbo.com在360排名方面也提上，一site，只有孤零零一个首页</p><p><br></p><p><br></……

今天百度的蜘蛛是不是抽风了？抓取诊断一直是抓取失败 Robots

<p>如题，就连落地检测都提示链接失败。但是直接访问网站 http://www.jiuyao66.com 是正常的。</p><p><br></p><p><br&g……

急求大神帮解答，搜索关键词时候网站描述说的是robots指令了，这个怎么解决 Robots

<p><br></p>

求大神解答：百度蜘蛛爬取了大量不存在的404页面怎么回事？ 网站收录 数据库 Robots 404页面 死链接 站长平台 百度资源平台

<p><b>网站昨天突然不收录了，之前文章都是秒收。</b></p><p><br></p><p>检查了下日志，发现蜘蛛爬取了大量404页面，分析……

robots文件上传 Robots 根目录

我的一个虚拟主机上面，有3个网站。robots需要放在根目录下面，但是又3个网站，请问名字怎么设置。不设置的话，就重复了，也放不了，谢谢！……

网站不做robots有影响收录？ Robots

修改网站的ROBOTS.txt影响蜘蛛爬取吗？ Robots

今天更新了一下robots文件，就添加了两行，会不会影响蜘蛛爬取

网站改版robots.txt文件怎么设置？ Robots 网站改版

网站改版是设置robots.txt文件

js判断某地区访问网站后跳转另一个网站会不会对网站seo有所影响？？？ Robots 站长工具 JS

<p>我在我的seo站点内添加了一段这个代码不知道SEO会不会受到影响？</p><p><br></p><p>思路是这样的</p><p>比如 某地……

究竟是什么原因，百度蜘蛛一直爬一个网站根本没有的目录？ Robots 网站程序 ajax

每天都会去看一下蜘蛛的爬行，发现最近发现一直在爬一个/ajax/的目录，但是这个上网站程序里是没有的，服务器里也是没有的，为什么能爬到这里？是因为网站曾经改版的原因吗？但是如果这个目录现在都已经删除了，为什么还是会去抓爬这个目录？现在我ro……

PC、移动端文章同时收录了。用robots禁止移动端的可以吗?这样移动端还会有排名吗 Robots 移动端

关于网站robots.txt看看我这个设置的对吗 Robots

<p><br></p>

网站一直不收录，大神进来喝杯茶 用户体验 Robots 只收录首页

网站www.qgjqpt.com 是去年建的，今年刚接手，从建站之初到现在基本上都是只收录首页。不要说去提交、去反馈、去更新原创、去解决用户需求、去提升用户体验、去检查robots等等，这些已经都试过了……

robots.txt怎么屏蔽临时域名？写法应该怎么写？ Robots 百度快照 301跳转

我的网站临时域名被百度收录了，搜录的临时域名只有网站首页1个页面。而且权重和点击要比主域名靠前很多。我已经做了301跳转2个月了，现在百度快照左边的链接显示还是临时域名的链接。所以我想在robots中把临时域名屏蔽掉，这样过一段时间百度不收……

哪位大神来解答一下，，这是何解， Robots 站长工具

<p>网站打开速度很快，robots没有屏蔽蜘蛛，同一个网站360抓取正常，百度抓取失败，http状态查询，爱站返回正常，站长工具竟然是解析错误，，什么情况</p><p><br></p&……

网站日志具体怎么看。 Robots 404页面 网站日志 404

<p>怎么看网络日志，怎么去分析，昨天有个老师刚教我把robots和404页面做了，。这个日志怎么去看,网站是www.sfydp.com</p>……

网站上线好一段时间，一直没收录。 Robots Site Sitemap

我的网站 www.zsxinpeng.com 上线也有大半年了，一直没有收录。网站上线后会有更新，robots没问题。1.有不定时提交sitemap.xml到百度站长2.日志爬虫，并没有看到蜘蛛有进来的记录3.其它搜索引擎该网站的非名相对是……

搜索网站首页链接，找不到网站，site不在前三页，如何处理？ Robots Site 伪原创

网站：http://ftldc.com，上个月下旬25号之后，貌似网站排名掉了一些，28号之后，首页掉了，今天搜索首页链接找不到网站，site下首页不在前三。收录变化不大。之前操作：20多号弄了内页调整，将文章页的热门文章，换成猜你喜欢、热……

主域名与二级域名解析到同一个程序了如何禁止二级域名？ Robots 二级域名 域名解析

www.a.com   跟 aaa.a.com  解析到同一个程序跟内容  那我在robots.txt中如何写 禁止aaa.a.com的蜘蛛抓取呢？……

请问6系统中默认的robots设置具体含义。如果这样设置有没有问题。 Robots

<p><br></p>

现在的网站内页及文章也搜索展现的都是动态url页面，静态页面也有些被收录，现在用robots屏蔽动态url会对权重或排名有影响吗？ Robots 301重定向 关键词排名

我随便去复制网站里的文章标题去百度，出来结果都是带？的，也就是动态，然后有的文章动态和静态都收录了，但更多的是动态的一定会被收录，静态的有些不会收录。目前的很多关键词排名都不错，差不多都在首页，一些指数上千的也在第二页，如果这个时候用rob……

网站有毒吗，竟然没人换友链？？？ Robots 站群 二级域名 老网站

我的网站，www.21tb.com    老网站了，只不过没怎么做优化，现在想优化起来，却发现没人愿意交换友链....弄了2500个二级域名，但都做了robots,不存在站群惩罚啊。想请教大神，网站还有哪些地方需要规避降权的地方。……

关于网站排名需要注意的问题 Robots Site JS 404

1.每个网页标题简洁，不超过30字。 2.每个网页核心关键词不超过3个。如果可以，你要学会放弃。 3.最重要的关键词放在标题首位，依次类推。 4.网站的描述，简洁，明了，最开始和结束部分自然出现关键词。 5.网站导航采用文字导航。 6.网站……

怎样才知道网站被收录的页面是哪些页面呢？ Robots Site

如果用site去百度查的话，一个一个页面去翻比较麻烦，主要是想知道哪些栏目收录比较多，哪些栏目收录比较少，这样能查的话，这样的话就知道哪些栏目页质量不行，就直接在robots里禁止收录这个栏目。  ……

robot里边如何屏蔽外部的链接？ Robots

比如当前robots是www.feijiu.net/robots.txtDisallow: www.jupai.net/*   这样能实现吗

网站改版之后不收录 Robots 网站日志 伪原创 404

网站改版之后除了首页的快照跟新是当天的，其他的文章页，内页基本不怎么收录，内容是伪原创，质量度不错。网站日志总是报一些老服务器的404错误（已经在robots禁掉了还是会报），这个究竟是什么问题，大佬帮忙看看“www.danceland.c……

http://www.xiaozu365.com/q/index.html#/login 这个robots文件这样写对不对 Robots Site Sitemap

User-agent: * Disallow: Disallow:  /*#* Sitemap:  http://www.xiaozu365.com/sitemap.xml 

网站就是不收录robots没设置对？ Robots

# robots.txt generated User-agent: Baiduspider Disallow: User-agent: Sosospider Disallow: User-agent: sogou spider Di……

关于手机移动端的问题 Robots 二级域名 移动端

网站之前是把手机端放在域名二级目录下，现在手机端已经有几百个收录了，现在还是想单独用二级域名来挂手机端，需要怎么做才能保持尽量平稳过度，不掉收录？手机端二级域名出来后，原来的二级目录下的网站是需要马上关闭还是用robots限制抓取？……

如果把sitemap.xml写进了robots.txt里，那蜘蛛是不是就只爬sitepmap里有的链接，sitemap里没有的链接就不爬了？ Robots Site Sitemap

我的网站想改版，改版期间我需要注意什么？ 闭站保护还是robots文件静止蜘蛛抓取？ Robots 闭站保护

我的网站想改版，改版期间我需要注意什么？ 闭站保护还是robots文件静止蜘蛛抓取？

robots生效时间一般多久，有办法加快他的生效时间吗 Robots 老域名

<p>老域名做了新站，收录了很多之前的奇怪的内容，已经robots屏蔽了，就是一直不起效果，不知道大神有没有办法，把这个收录弄没了，小说相关的内容都不是站内的，访问的时候，竟然是首页内容，真是好奇怪啊</p>……

robots疑问 主域名和二级域名 在同一个目录，如何屏蔽某一个二级域名的收录？ Robots 二级域名

主域名 与 所有的二级域名 都在一个目录， 如何屏蔽收录 其中一个二级域名？  Disallow: xxx.aaaa.com/*   这种写法对吗？……

为什么网站会屏蔽蜘蛛抓取呢？ Robots 百度抓取诊断

<p>百度抓取诊断都没问题      robots也没问题   但是为什么就抓取不了呢？？？问题会出在哪里呢？   最近发的文章都没 收录会不会跟这个有关系呢？</p><p><br></……

robots.txt文件有什么必要呢？一般什么情况需要使用robots.txt文件？ Robots

网站添加了robots，神马和360索引就直线下降 CMS Robots

<p></p><pre># # robots.txt for EmpireCMS # User-agent: * Disallow: /*?* Disallow: /*#*</pre>&……