Robots

百度统计检测不到robots是怎么回事 Robots 百度统计 阿里云

我们网站现在服务器搬到阿里云上了 这两天抓取时间都变成了0，后来打开robots也没问题，统计后台缺检测不到服务器是嘛情况……

大量死链如何处理最好? Robots 404 排名 文章

网站需要删除几个栏目，删除后估计有几十万死链，怎么处理不影响新文章收录和其他栏目页面排名。 1.百度死链工具经过测试不靠谱，提交一个月后还是天天抓死链。此路不通 2.robots屏蔽经过测试也不行，只是蜘蛛不再抓取已删除栏目，但是收录的快照……

在robots里屏蔽字体文件有影响吗 Robots

想屏蔽掉网站的字体文件抓取，对网站有影响吗

网站上线初期设置robots禁止抓取是否对收录有影响? Robots

频繁修改robots文本有影响吗？ Robots

Robots写了好几行如果其中一行也错了是整个robots不生效，还是单单写错的那一行不生效 Robots

Robots文本应不应该屏蔽蜘蛛对全站搜索框的搜索？ Robots

<p><br></p>

大家帮我分一下这个Robots文件有没有问题 Robots

<p>大家帮我分一下这个Robots文件有没有问题，www.mdyx.com</p><p></p>

修改robots.txt或导致搜索引擎惩罚网站怎么办？ Robots 索引

咨询一下，robots这么写？有没有问题 Robots PHP JS

咨询一下路过的大神们，robots这么写？有没有问题？ 如果有，第几个需要修改？1，User-agent: *,2，Disallow: /*.css$,3，Disallow: /*.js$,4，Disallow: /*.php$,5，Dis……

robots怎么写？ Robots

robots不写可以吗？还有就是robots里能添加网站地图吗？

友链加nofollow 把友链写进robots，还有比这更骚的吗 Robots Nofollow 友链

哈哈哈哈

明明已经Robots禁止了，还是被收录了有没有办法解决 Robots

怎么禁止网站上另一个内容相同的页面被收录？ Robots 内容相同 静态

我司网站每生成一个动态页面就有个对应的内容相同的静态页面。www.chinamcloud.com/ → web.chinamcloud.com/lhytdst/例如www改成web，后面再加个/lhytdst/，就有个一样的页面了。但我不希……

网站robots.txt文档一般屏蔽哪些东西，能不能把所有的js和php给禁了 Robots PHP JS

求解，

我现在site已经收录了，但是收录之后不显示描述， Robots Site

就显示robots限制，但是限制已经解除了

想要做好网站SEO不是件容易的事 软文 Robots 404 排名

seo是一门技术活，如果自身是零基础，那么这个工作就是相当困难的，另外，我们要对难易进行一个区分，seo入门是简单的，做好seo则是一个相当困难的事情。和我们读初中时候的学习情境一模一样，同样的老师，同样的课程，同样的学习时间，一个班级只有……

robots是不是不能设置限制抓取的指令？ Robots 网站改版

<p>网站改版的时候把<span>robots设置限制抓取的指令，本来是想改版完成后再取消，结果取消个多月了，百度还是不来抓取，怎么办？</span></p><p></p&g……

网站用robots屏蔽了所有蜘蛛，但是没有生效，怎么回事？ Robots

网站用robots屏蔽了所有蜘蛛，但是没有生效，怎么回事？

robots文件屏蔽一些页面抓取怎么写？ Robots 百度蜘蛛

https://www.fanyuancloud.com/articles/189https://www.fanyuancloud.com/articles/190https://www.fanyuancloud.com/articles/……

网站用robots屏蔽了所有蜘蛛，但是还是没变化 Robots

User-agent: *Disallow: /这个应该没错啊

网站建站已经马上三个月了，索引量2，收录就一个首页 Robots 文章 索引

<p>网站建站已经马上三个月了，索引量2，收录就一个首页<br><br>实在不知道为什么？robots设置的全部抓取，抓取诊断偶尔说抓取失败，原因百度显示为：抓取异常信息：其他错误，重新再测又显示可以了正……

网站url动态改版为静态形式，怎么处理，尽量减少影响？ Robots 伪静态 静态

一个站之前一年用的是动态路径，现在想换成静态路径，我要设置好了伪静态就robots屏蔽呢，还是等收录了一些静态页面在屏蔽呢？……

DZ论坛设置伪静态了需要robots禁止抓取动态链接吗？ Robots 静态

DZ论坛设置伪静态了需要robots禁止抓取动态链接吗？我看还有在抓动态链接的，会不会双收录Disallow: /*?*这样对吧？……

被加入robots做屏蔽的 栏目为啥还能有新的文章收录勒 Robots 文章

网站被挂马了，集中在一个栏目里面出来其他文章收录。然后把这个栏目加入robots文件做屏蔽，可是为啥这个栏目下还会有新的文章被收录？？？？是robots文件没起作用吗……

日志大量ip不像正常蜘蛛ip，而且有很多已屏蔽的后台文件被抓取是怎么回事呢@推推蛙 Robots

<p>查看日志情况，发现在robots文件屏蔽的目录还是被抓取，而且统计ip段数量，感觉不像正常的蜘蛛，是怎么回事呢<br></p>……

网站改版老站点301到新站点，新老站点都存在独立robots文件 Robots 网站改版

网站改版老站点301到新站点，新老站点都存在独立robots文件，在这种情况下百度是先判断robots权限在先还是先根据301规则在先？……

网站换了新的服务器之后，过了很久还一直抓取失败，检测了robots文件没有问题 Robots 关键词排名 排名

网站换了服务器过了一周了，显示还是抓取失败，原因是robots文件封禁，但是检测robots文件没有问题了。所有的关键词排名都没有，之前的链接是死链提交了。想知道什么时候才会有抓取成功，正常收录。……

js和css文件地址是否需要robots屏蔽抓取？ Robots JS 排名

研究了很多排名很好的网站，看有的网站屏蔽了，有的网站没有屏蔽，所以这js和css是屏蔽好，还是不屏蔽的好？百度搜的答案都太老了，感觉参考意义不大了。……

robots.txt文件中已经把许多文件禁止了，为什么百度蜘蛛的抓取日志中还有抓取记录 Robots 百度蜘蛛

<p>网站的robots.txt:</p><p><br></p><p>网站的抓取日志;</p><p></p><p><……

百度蜘蛛现在就只爬取首页和robots.txt文件，有知道的大佬知道怎么回事么 Robots 百度蜘蛛

刚开始百度蜘蛛会爬取我网站的内容页，现在每天很少爬取内容页了，全在爬首页跟robotx.txt文件，请知道的大佬指点小弟一二。谷歌还是收录的快，没几天全部收录并且排第一了，百度这边一点信儿都没有。?……

大神们来解释一下这个robots.txt意思 Robots

<p><br></p>

各位大佬帮看下日志分析出来的这种类似伪百度蜘蛛ip到底是什么 Robots 日志分析 百度蜘蛛

<p>各位大佬帮看下日志分析出来的这种类似伪百度蜘蛛ip到底是什么，每个小时都来8,9次类似的ip，访问首页和robots文件，如果我robots设置他禁止爬取可以如图2这样设置嘛</p><p></……

Robots设置禁止抓取收录的文章 Robots 文章

这样可以吗？收录的文章会消失吗

网站被robots禁止后还能索引收录 Robots