Robots

被加入robots做屏蔽的 栏目为啥还能有新的文章收录勒 Robots 文章

网站被挂马了，集中在一个栏目里面出来其他文章收录。然后把这个栏目加入robots文件做屏蔽，可是为啥这个栏目下还会有新的文章被收录？？？？是robots文件没起作用吗……

百度统计检测不到robots是怎么回事 Robots 百度统计 阿里云

我们网站现在服务器搬到阿里云上了 这两天抓取时间都变成了0，后来打开robots也没问题，统计后台缺检测不到服务器是嘛情况……

网站大量页面删除，已经使用robots.txt文件屏蔽，还需要提交死链接吗？ Robots 死链接 文章

网站内容更换，删除大量文章页面使用robots屏蔽共同栏目页，这些页面还需要去资源平台提交死链吗？……

网站长期无变化更新怎么办？ Robots

网站最近一个月时间里，保持稳定正常更新优化，每天也有提交链接到百度，网站服务器稳定没有问题，Robots协议也没有禁止蜘蛛抓取，就是没有收录量增加？……

网站更换备案，期间用robots屏蔽蜘蛛可以吗？ Robots 备案

Sitemaph 和 Robots 都为0，这对优化的影响大不大？ Robots Site

Sitemaph 和 Robots 都为0，这对优化的影响大不大？

请问网站有百万级的url，应该然后制作sitemap提交？ Robots Site Sitemap

①是该做个Sitemap.xml中包含其它Sitemap(Sitemap1.xml，Sitemap2.xml，Sitemap3.xml.....);只把Sitemap.xml放进robots?②还是分别把Sitemap1.xml，Sitem……

网站url动态改版为静态形式，怎么处理，尽量减少影响？ Robots 伪静态 静态

一个站之前一年用的是动态路径，现在想换成静态路径，我要设置好了伪静态就robots屏蔽呢，还是等收录了一些静态页面在屏蔽呢？……

网站主域名设置了robots不让蜘蛛访问，那我弄二级域名可以访问么？ Robots 二级域名

如题。

蜘蛛一直抓取api链接 Robots

Robots屏蔽没有用还是抓取,查了ip段是百度的,哪位大神了解的

网站的robots文件该放哪种类型的地图？ Robots

把xml版本的和html版本的都放在robots文件合适吗？一般是只放xml版本的吗？

大神们，帮我看下这个robots文件有问题没 Robots

<p><br></p>

robots已经在百度验证过了，为什么3-4天了网站还是显示存在限制指令？ Robots 网站建设

<p>江苏安邦云昇智能科技有限公司    <a href="http://www.anbangyun.cn/" target="_blank" data-url="www.……

我现在site已经收录了，但是收录之后不显示描述， Robots Site

就显示robots限制，但是限制已经解除了

常见元标签有哪些 应该怎么设置标签呢？ Robots

元标签在做网站的实操中真正用到的没有几个，但自从SEO行业兴起之后，各类被冷落的标签又重新运用起来了，如某些时候 robots.txt文件不能解决一些特殊的环境，而是采用页面内的 robots标签来引导蜘蛛的走向。https://www.s……

网站建设中，禁止robots全站抓取一个月多会有影响吗 Robots 网站建设

网站还在建设中，禁止robots全站抓取一个月多会有影响吗User-agent: *Disallow: /

网站建站已经马上三个月了，索引量2，收录就一个首页 Robots 文章 索引

<p>网站建站已经马上三个月了，索引量2，收录就一个首页<br><br>实在不知道为什么？robots设置的全部抓取，抓取诊断偶尔说抓取失败，原因百度显示为：抓取异常信息：其他错误，重新再测又显示可以了正……

以自动刷新方式更改内容页时间因子算不算作弊？ Robots 排名 文章

<p>某网站的内容页时间因子没有固定在发布日期，而是每被访问一次就自动刷新到当前时间，这样算不算作弊？还是这样有利于优化排名？</p><p><br></p><p>案例：……

网站改版老站点301到新站点，新老站点都存在独立robots文件 Robots 网站改版

网站改版老站点301到新站点，新老站点都存在独立robots文件，在这种情况下百度是先判断robots权限在先还是先根据301规则在先？……

请问网站地图支持放到站外么 Robots 百度收录 二级域名 索引

入职一家公司不久，网站结构非常混乱，很多重复链接，他们还把重复的链接放到了网站地图里，百度收录的乱七八糟，各种链接。网站是外包给网络公司的，网络公司是个分公司，没技术处理真正的技术问题。处理个301他们都不会，还要我查了手册写好文件发给他们……

网站之前上传了robots 百度站长平台也可以检测到但是网站关停了一段时间之后 Robots 站长平台

在解析到之前的服务器上，在检测都显示“服务器配置错误   403”  这个是什么情况

怎么查看Robots协议是否有抓取网站的哪些页面呢，以及哪些页面没有被抓取。 Robots 文章

怎么利用Robots协议查看网站新闻动态页是否有抓取或者收录文章内容呢？怎么查

网站上线20多天了 抓取诊断一直失败 Robots 备案

已经排查过了没有屏蔽蜘蛛，robots也是允许抓取的，5.1号上线的抓取诊断就显示失败，点击了报错，提示几分钟就更新好，但是过了8天还是一直抓取失败，所以在平台反馈，反馈在12号回复说转相关工作人员分析处理，这又过了10天了，继续追问反馈 ……

robots文件已经更新一个月了，新禁止的文件还在抓取状态？ Robots

为什么我网站上的robots文件已经更新一个月了，新禁止的文件还在抓取状态？

老站半个月蜘蛛疯狂爬，新站隔天就收录了。 Robots 排名

真是见了个鬼了，新站隔了一天就收录了。没有做过外链，才刚上传，百度居然收录了，还有排名，真是。。。。。上面内容都还没做。忘记用ROBOTS屏蔽了。……

这种情况，可以在robots文件里面写屏蔽吗？应该怎么写啊 Robots

<p></p>

我的网站https就检测不到robots文件，而http就能检测到，请问要怎么设置能让https也能 Robots

<p> 我的网站https就检测不到robots文件，而http就能检测到，请问要怎么设置能让https也能</p><p></p>……

新网站怎样才能快速上排名呢？ Robots 排名 静态

怎么才能让新站快速有排名呢？（1）什么是新站：新站是上线时间段，没有排名或者排名比较浮动的网站。按照网站的时间来定上线1个月--6个月都是新站期，新站期是不稳定的，是百度对网站的考核期。（2）新站排名难的原因无非是以下这些点：新站内容比较少……

我的这个robots文件设置的有问题吗？ Robots 索引

<p>我的这个robots文件设置的有问题吗？</p><p>蜘蛛一直不来抓取，语句没有禁止搜索引擎抓取吧？</p><p></p>……

wp网站的robots应该怎么写？ Robots

日志猛增301，很多类似这样，你们有碰到这样的情况吗，这是怎么回事 Robots 竞价

<p><br><br></p><p>还有robots文件也是很多都出现301，之前都没有这种请</p><p>竞价的页面，网站图片，一天有300多条301&l……

今天看了日志，有几个问题请教一下搜外大神，路过的大神指点指点迷津吧！ Robots 友链

www.wsf1234.com非图片站的蜘蛛抓取图片频率过高，该不该改善这个问题？应该改善又该如何改善？需要在robots协议上做什么调整？蜘蛛抓取后真实访问率46%算什么水平，过高或过低？，除了布局更优质的外链和友链，还有什么优化手法？目……

手机端适配的是后台二级目录，内容质量为伪原创但是收录挺好，可为什么都是无排名？ Robots 伪原创 排名

<p>主要的还是一级目录不收录，反而二级目录的收录好，这与robots不相关吧！</p><p><br></p>……

就因为修改了一下robots文本，现在一个收录都没有了 Robots

网站收录突然间被全部屏蔽展现了 网站收录 Robots Site

今天检查网站时,突然发现site+域名 收录全部没有展现了，测试了一下抓取正常,robots也正常,网站基本是每天正常维护，没有使用任何违规手法，这种情况除了反馈还有没有办法解决呢……

昨晚robots允许抓取，第二天早上改了下标题，有影响吗？ Robots

昨晚robots允许抓取，第二天早上改了下标题，有影响吗？