Robots

怎么回事啊？网站老域名重新改版后1个月只收录首页（百度、360都不收录） Robots 老域名 文章

9月份的时候打算建立一个网站，看了看手里的域名，有一个15年的老域名，因为网站主题和域名相匹配就拿过来用了。9月5号网站重新改版上线了，网站服务器放在linode日本服务器，网站地图、robots.txt、关键词、导航之类都已经建立完善。每……

大家帮我分一下这个Robots文件有没有问题 Robots

<p>大家帮我分一下这个Robots文件有没有问题，www.mdyx.com</p><p></p>

新站删除robots文件一直不更新 Robots

www.qhtycs.com 这个新站加了robots然后两个月前删除这个文件，至今一直未更新，一直是禁止状态。要不要加一个允许的robots呢……

看了下网站日志，百度老去抓取404页面，需要在robots文件里面屏蔽吗？ Robots 404页面 网站日志 404

友链加nofollow 把友链写进robots，还有比这更骚的吗 Robots Nofollow 友链

哈哈哈哈

咨询一下，robots这么写？有没有问题 Robots PHP JS

咨询一下路过的大神们，robots这么写？有没有问题？ 如果有，第几个需要修改？1，User-agent: *,2，Disallow: /*.css$,3，Disallow: /*.js$,4，Disallow: /*.php$,5，Dis……

Robots文本应不应该屏蔽蜘蛛对全站搜索框的搜索？ Robots

<p><br></p>

网站从4与26号开始索引，一直没有变化，是正常的吧，我就怕是在robots加不爬*？*加的 Robots 索引量 索引

<p>之前在网上，搜到好多人加这个，结果导致网站不收录的</p><p>网站:www.chlbh.cn</p><p>怕自己网站也遇到这种情况，毕竟之前，索引量变化还是挺频繁的<……

在robots里屏蔽字体文件有影响吗 Robots

想屏蔽掉网站的字体文件抓取，对网站有影响吗

Robots写了好几行如果其中一行也错了是整个robots不生效，还是单单写错的那一行不生效 Robots

robots怎么写？ Robots

robots不写可以吗？还有就是robots里能添加网站地图吗？

网站换了新的服务器之后，过了很久还一直抓取失败，检测了robots文件没有问题 Robots 关键词排名 排名

网站换了服务器过了一周了，显示还是抓取失败，原因是robots文件封禁，但是检测robots文件没有问题了。所有的关键词排名都没有，之前的链接是死链提交了。想知道什么时候才会有抓取成功，正常收录。……

robots文件写错了修改后，多久能恢复 Robots

我的网站上线四个月了收录还是很低，原来是部分栏目禁止抓取，后面发现robots文件写错了现在修改后会恢复抓取收录吗www.mixmt.cn……

大量死链如何处理最好? Robots 404 排名 文章

网站需要删除几个栏目，删除后估计有几十万死链，怎么处理不影响新文章收录和其他栏目页面排名。 1.百度死链工具经过测试不靠谱，提交一个月后还是天天抓死链。此路不通 2.robots屏蔽经过测试也不行，只是蜘蛛不再抓取已删除栏目，但是收录的快照……

明明已经Robots禁止了，还是被收录了有没有办法解决 Robots

网站robots.txt文档一般屏蔽哪些东西，能不能把所有的js和php给禁了 Robots PHP JS

求解，

频繁修改robots文本有影响吗？ Robots

robots文件已经更新一个月了，新禁止的文件还在抓取状态？ Robots

为什么我网站上的robots文件已经更新一个月了，新禁止的文件还在抓取状态？

网站屏蔽动态url，robots文件中已经写了，是否还需要nofollow？ Robots Nofollow

比如我在robots.txt 上写了  Disallow: /*?*    那我还需要 在带？号的链接上带上Nofollow吗？？？另外robots.txt  Nofollow  是一样的用意吗？   是重复了 还是没重复？？……

怎么禁止网站上另一个内容相同的页面被收录？ Robots 内容相同 静态

我司网站每生成一个动态页面就有个对应的内容相同的静态页面。www.chinamcloud.com/ → web.chinamcloud.com/lhytdst/例如www改成web，后面再加个/lhytdst/，就有个一样的页面了。但我不希……

网站用robots屏蔽了所有蜘蛛，但是没有生效，怎么回事？ Robots

网站用robots屏蔽了所有蜘蛛，但是没有生效，怎么回事？

搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？ Robots 搜狗

搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？

网站改版老站点301到新站点，新老站点都存在独立robots文件 Robots 网站改版

网站改版老站点301到新站点，新老站点都存在独立robots文件，在这种情况下百度是先判断robots权限在先还是先根据301规则在先？……

网站建站已经马上三个月了，索引量2，收录就一个首页 Robots 文章 索引

<p>网站建站已经马上三个月了，索引量2，收录就一个首页<br><br>实在不知道为什么？robots设置的全部抓取，抓取诊断偶尔说抓取失败，原因百度显示为：抓取异常信息：其他错误，重新再测又显示可以了正……

robots是不是不能设置限制抓取的指令？ Robots 网站改版

<p>网站改版的时候把<span>robots设置限制抓取的指令，本来是想改版完成后再取消，结果取消个多月了，百度还是不来抓取，怎么办？</span></p><p></p&g……

网站屏蔽动态url，robots文件中已经写了，是否还需要nofollow？？ Robots Nofollow

网站屏蔽动态url，robots文件中已经写了，是否还需要nofollow？？

我现在site已经收录了，但是收录之后不显示描述， Robots Site

就显示robots限制，但是限制已经解除了

想要做好网站SEO不是件容易的事 软文 Robots 404 排名

seo是一门技术活，如果自身是零基础，那么这个工作就是相当困难的，另外，我们要对难易进行一个区分，seo入门是简单的，做好seo则是一个相当困难的事情。和我们读初中时候的学习情境一模一样，同样的老师，同样的课程，同样的学习时间，一个班级只有……

新站蜘蛛本就不多的情况下，有必要做robots吗 Robots

rt

新站上线，robots.txt屏蔽了全部蜘蛛，为啥被抓取并收录页面？ Robots 新站上线

网站用robots屏蔽了所有蜘蛛，但是还是没变化 Robots

User-agent: *Disallow: /这个应该没错啊

网站url动态改版为静态形式，怎么处理，尽量减少影响？ Robots 伪静态 静态

一个站之前一年用的是动态路径，现在想换成静态路径，我要设置好了伪静态就robots屏蔽呢，还是等收录了一些静态页面在屏蔽呢？……

robots.txt文件中已经把许多文件禁止了，为什么百度蜘蛛的抓取日志中还有抓取记录 Robots 百度蜘蛛

<p>网站的robots.txt:</p><p><br></p><p>网站的抓取日志;</p><p></p><p><……

大佬们帮忙看下网站有没有robots？怎么看的？ Robots

https://www.guojupijiu.com/

被加入robots做屏蔽的 栏目为啥还能有新的文章收录勒 Robots 文章

网站被挂马了，集中在一个栏目里面出来其他文章收录。然后把这个栏目加入robots文件做屏蔽，可是为啥这个栏目下还会有新的文章被收录？？？？是robots文件没起作用吗……

robots文件屏蔽一些页面抓取怎么写？ Robots 百度蜘蛛

https://www.fanyuancloud.com/articles/189https://www.fanyuancloud.com/articles/190https://www.fanyuancloud.com/articles/……

看了下网站日志，百度老去抓取404页面，需要在robots文件里面屏蔽吗？ Robots 404页面 网站日志 404