Robots

网站改版robots.txt文件怎么设置？ Robots 网站改版

网站改版是设置robots.txt文件

js判断某地区访问网站后跳转另一个网站会不会对网站seo有所影响？？？ Robots 站长工具 JS

<p>我在我的seo站点内添加了一段这个代码不知道SEO会不会受到影响？</p><p><br></p><p>思路是这样的</p><p>比如 某地……

究竟是什么原因，百度蜘蛛一直爬一个网站根本没有的目录？ Robots 网站程序 ajax

每天都会去看一下蜘蛛的爬行，发现最近发现一直在爬一个/ajax/的目录，但是这个上网站程序里是没有的，服务器里也是没有的，为什么能爬到这里？是因为网站曾经改版的原因吗？但是如果这个目录现在都已经删除了，为什么还是会去抓爬这个目录？现在我ro……

PC、移动端文章同时收录了。用robots禁止移动端的可以吗?这样移动端还会有排名吗 Robots 移动端

关于网站robots.txt看看我这个设置的对吗 Robots

<p><br></p>

网站一直不收录，大神进来喝杯茶 用户体验 Robots 只收录首页

网站www.qgjqpt.com 是去年建的，今年刚接手，从建站之初到现在基本上都是只收录首页。不要说去提交、去反馈、去更新原创、去解决用户需求、去提升用户体验、去检查robots等等，这些已经都试过了……

robots.txt怎么屏蔽临时域名？写法应该怎么写？ Robots 百度快照 301跳转

我的网站临时域名被百度收录了，搜录的临时域名只有网站首页1个页面。而且权重和点击要比主域名靠前很多。我已经做了301跳转2个月了，现在百度快照左边的链接显示还是临时域名的链接。所以我想在robots中把临时域名屏蔽掉，这样过一段时间百度不收……

哪位大神来解答一下，，这是何解， Robots 站长工具

<p>网站打开速度很快，robots没有屏蔽蜘蛛，同一个网站360抓取正常，百度抓取失败，http状态查询，爱站返回正常，站长工具竟然是解析错误，，什么情况</p><p><br></p&……

网站日志具体怎么看。 Robots 404页面 网站日志 404

<p>怎么看网络日志，怎么去分析，昨天有个老师刚教我把robots和404页面做了，。这个日志怎么去看,网站是www.sfydp.com</p>……

网站上线好一段时间，一直没收录。 Robots Site Sitemap

我的网站 www.zsxinpeng.com 上线也有大半年了，一直没有收录。网站上线后会有更新，robots没问题。1.有不定时提交sitemap.xml到百度站长2.日志爬虫，并没有看到蜘蛛有进来的记录3.其它搜索引擎该网站的非名相对是……

搜索网站首页链接，找不到网站，site不在前三页，如何处理？ Robots Site 伪原创

网站：http://ftldc.com，上个月下旬25号之后，貌似网站排名掉了一些，28号之后，首页掉了，今天搜索首页链接找不到网站，site下首页不在前三。收录变化不大。之前操作：20多号弄了内页调整，将文章页的热门文章，换成猜你喜欢、热……

主域名与二级域名解析到同一个程序了如何禁止二级域名？ Robots 二级域名 域名解析

www.a.com   跟 aaa.a.com  解析到同一个程序跟内容  那我在robots.txt中如何写 禁止aaa.a.com的蜘蛛抓取呢？……

请问6系统中默认的robots设置具体含义。如果这样设置有没有问题。 Robots

<p><br></p>

现在的网站内页及文章也搜索展现的都是动态url页面，静态页面也有些被收录，现在用robots屏蔽动态url会对权重或排名有影响吗？ Robots 301重定向 关键词排名

我随便去复制网站里的文章标题去百度，出来结果都是带？的，也就是动态，然后有的文章动态和静态都收录了，但更多的是动态的一定会被收录，静态的有些不会收录。目前的很多关键词排名都不错，差不多都在首页，一些指数上千的也在第二页，如果这个时候用rob……

网站有毒吗，竟然没人换友链？？？ Robots 站群 二级域名 老网站

我的网站，www.21tb.com    老网站了，只不过没怎么做优化，现在想优化起来，却发现没人愿意交换友链....弄了2500个二级域名，但都做了robots,不存在站群惩罚啊。想请教大神，网站还有哪些地方需要规避降权的地方。……

关于网站排名需要注意的问题 Robots Site JS 404

1.每个网页标题简洁，不超过30字。 2.每个网页核心关键词不超过3个。如果可以，你要学会放弃。 3.最重要的关键词放在标题首位，依次类推。 4.网站的描述，简洁，明了，最开始和结束部分自然出现关键词。 5.网站导航采用文字导航。 6.网站……

怎样才知道网站被收录的页面是哪些页面呢？ Robots Site

如果用site去百度查的话，一个一个页面去翻比较麻烦，主要是想知道哪些栏目收录比较多，哪些栏目收录比较少，这样能查的话，这样的话就知道哪些栏目页质量不行，就直接在robots里禁止收录这个栏目。  ……

robot里边如何屏蔽外部的链接？ Robots

比如当前robots是www.feijiu.net/robots.txtDisallow: www.jupai.net/*   这样能实现吗

网站改版之后不收录 Robots 网站日志 伪原创 404

网站改版之后除了首页的快照跟新是当天的，其他的文章页，内页基本不怎么收录，内容是伪原创，质量度不错。网站日志总是报一些老服务器的404错误（已经在robots禁掉了还是会报），这个究竟是什么问题，大佬帮忙看看“www.danceland.c……

http://www.xiaozu365.com/q/index.html#/login 这个robots文件这样写对不对 Robots Site Sitemap

User-agent: * Disallow: Disallow:  /*#* Sitemap:  http://www.xiaozu365.com/sitemap.xml 

网站就是不收录robots没设置对？ Robots

# robots.txt generated User-agent: Baiduspider Disallow: User-agent: Sosospider Disallow: User-agent: sogou spider Di……

关于手机移动端的问题 Robots 二级域名 移动端

网站之前是把手机端放在域名二级目录下，现在手机端已经有几百个收录了，现在还是想单独用二级域名来挂手机端，需要怎么做才能保持尽量平稳过度，不掉收录？手机端二级域名出来后，原来的二级目录下的网站是需要马上关闭还是用robots限制抓取？……

如果把sitemap.xml写进了robots.txt里，那蜘蛛是不是就只爬sitepmap里有的链接，sitemap里没有的链接就不爬了？ Robots Site Sitemap

我的网站想改版，改版期间我需要注意什么？ 闭站保护还是robots文件静止蜘蛛抓取？ Robots 闭站保护

我的网站想改版，改版期间我需要注意什么？ 闭站保护还是robots文件静止蜘蛛抓取？

robots生效时间一般多久，有办法加快他的生效时间吗 Robots 老域名

<p>老域名做了新站，收录了很多之前的奇怪的内容，已经robots屏蔽了，就是一直不起效果，不知道大神有没有办法，把这个收录弄没了，小说相关的内容都不是站内的，访问的时候，竟然是首页内容，真是好奇怪啊</p>……

robots疑问 主域名和二级域名 在同一个目录，如何屏蔽某一个二级域名的收录？ Robots 二级域名

主域名 与 所有的二级域名 都在一个目录， 如何屏蔽收录 其中一个二级域名？  Disallow: xxx.aaaa.com/*   这种写法对吗？……

为什么网站会屏蔽蜘蛛抓取呢？ Robots 百度抓取诊断

<p>百度抓取诊断都没问题      robots也没问题   但是为什么就抓取不了呢？？？问题会出在哪里呢？   最近发的文章都没 收录会不会跟这个有关系呢？</p><p><br></……

robots.txt文件有什么必要呢？一般什么情况需要使用robots.txt文件？ Robots

网站添加了robots，神马和360索引就直线下降 CMS Robots

<p></p><pre># # robots.txt for EmpireCMS # User-agent: * Disallow: /*?* Disallow: /*#*</pre>&……

网站之前是动态页面，改版成静态页面，过去两个月了，还是会有动态页面 Robots PHP 更新文章

现在网站每天更新文章，就是收录比较慢，就算收录也是一个多月之前的文章，大家可以看看这个网站 http://www.psbd.cn，要是用robots禁止收录动态的话，会有影响吗？ 要是没有影响，http://www.psbd.cn/inde……

网站迭代是粗暴的404提交还是乖乖的去做改版规则 Robots Site 404

由于老网站需要改版， 但是外包做的太辣鸡，就重新做了一版。可是网站sitemap根本爬不出来，百度site又有好几百条内容，申请闭站保护也没卵用，直接粗暴的在robots里禁止蜘蛛抓取，改完之后再重新开放，之前所有的链接都做404提交，这样……

网站有没有必要做robots标签？这个要怎么做啊 Robots

给全站加nofollow标签有什么坏处没有？ Robots Nofollow

<p>代码：<meta name="robots" content="nofollow" /></p><p>参考网站：www.xczylt.com<……

robots文件开头不写User-agent: *可以吗？ Robots

按照正常网站robots写法，在开通都会写上User-agent: *，但是我的网站没写，这样正确吗？能不能使robots起作用？……

saas模板robots.txt修改后咋没变化，已经去除了下面的Disallow，但访问时Disallow居然还在 Robots

想请大神看下我的网站怎样可以收录 Robots 404页面 CDN 404

<p>  11月之前出现过连接超时就不怎么收录，用熊掌号可以收录，后来服务器加了cdn连接不超时了，网站日志查出来有大量的404页面，现在已经提交了404页面，网站robots,也已经更改，现在还是不怎么收录，</p>……

请大家一起来看看这个问题！ Robots 友情链接 PHP

今天 在交换友情链接的时候发现对方网站中robots.txt文件存在一个问题，里面的内容如下：User-agent: * Disallow: /gb.php Disallow: /gb2.php Disallow: /parse.php D……

网站弄成中英混搭，请问有什么利弊？请大家帮忙 Robots

网站弄成中英混搭，请问有什么利弊？怎么去优化？

大家帮忙解决我站爱跨境论坛robots.txt的问题 Robots

我的网站robots.txt www.ikuajing.com/robots.txt  里面禁止了/data/但是我想让搜索引擎允许收录这个图片,又要禁止搜索引擎抓取DATA其他的文件的内容，该怎么写 我的图片地址是：www.ikuajin……