Robots

一条多年的老域名，上线3天了一个百度蜘蛛都不来 Robots 老域名 文章

不知道是个什么鬼。我一个多年历史的老域名，上线3天了，一个蜘蛛都不来怕。用模拟蜘蛛能够正常访问。robots文件也确保没问题。也绑定了站长平台。每一篇文章都推送到百度的，但他就是一个蜘蛛也不来……

用得得做的网站有哪些是要用robots屏蔽的？ Robots 得得

用得得做的网站有哪些是要用robots屏蔽的？

robots中Disallow后面文件路径加不加斜杠/有什么区别 Robots

Disallow: /specialDisallow: /special/

为什么文章还没收录？？ Robots Site 文章

文章都是原创（检测都在85~99%的原创度），发了一两个月了，平均每天发50篇左右，但是还没收录（抓取频次有增长，但是不明显），问题出在哪呢？是没放出来还是就没收录？  域名也没什么问题 都是自己申请的   也没什么灰色记录，robots里……

织梦的动态预览页面plus/view.php被百度移动收录了很多，这个该怎么处理 Robots PHP 404

遇到奇葩的事情了。网站好像被人恶意刷流量流量来自m.baidu.com，刷的是一个在一年前就删掉的织梦动态预览页面/plus/view.php?aid=******结果现在导致百度移动端收录了好多这个网址格式的页面奇葩的是明明是404页面，……

robots.txt文件存在限制指令，现在已经删除了，一直不更新 Robots

<p><br></p><p>去做反馈了，也一直没给更新过来</p>

现在不备案的域名想收录是不是基本上可能性很小？ Robots 备案 排名

一个香港云服务器了做了8个网站，程序用的织梦，网上找到模板，内容采用的147采集的，基本上每天更新。域名都是在聚名买的有建站记录的老域名，没什么黑灰历史。唯一就是网站都没有备案，现在2个多月过去了，除了有一个收录了（但是没排名）。其他都是没……

网站的蜘蛛抓取频次突然由几万降到几百是怎么回事啊？怎么解决呢 Robots 二级域名 抓取频次 代码

1、站长词库关键词比较稳定，流量比较稳定；2、对应的二级域名抓取频次与主站同样的时间节点出现蜘蛛抓取频次下降的问题3、查看了抓取情况，没有返回错误代码，抓取速度也正常4、查看了robots文件，也正常……

网站更换服务器，需要关闭A解析吗？ Robots 申请闭站 闭站保护 备案

手上有一个网站，以前是在香港的服务器上，现在要迁回国内，需要备案。应该如何进行？需要关闭或是暂定A解析吗？还是直接robots屏蔽或者申请闭站保护，那种比较好？……

就算允许搜索引擎抓取所有页面，也应该在根目录放个空的robots文件，对吗？ Robots 根目录

就算允许搜索引擎抓取所有页面，也应该在根目录放个空的robots文件，对吗？

这个a herf标签怎么加nofollow？属于公司简介栏目的入口链接 Robots Nofollow

<p>或者会不会加robots好一些呢</p><p><br></p>

求解~网站索引一万多，site只有三百多，百度反馈迟迟不生效 Robots Site 引蜘蛛

<p>网站目前索引数据正常，蜘蛛抓取正常，且索引数据一直在稳步上涨。每天都有发外链吸引蜘蛛抓取更新。但是就是<strong>site和搜索结果只有300多条</strong>。</p><……

网站收录两个相同页面的链接，一个动态一个伪静态 Robots 排名 静态

网站收录两个相同页面的链接，一个动态一个伪静态，现在想将动态页面用robots协议屏蔽，但现在有一部分动态页面有了对应的关键词排名，这种如果禁止访问动态页面会不会影响那部分有排名的动态页面……

想问一下，大家在修改网站robots文件之后，多久会有效果 网站收录 Robots

最近修改了网站robots文件，导致网站收录出现了问题，现在又重新写了一下，想问robots文件多久能够在百度这里其效果。……

网站上线之后被收录了，再添加robots文件屏蔽蜘蛛，对于seo有意义吗？ Robots

我网站的robots.txt协议有没有什么问题啊 Robots PHP

User-agent: * Disallow: /*?* Disallow:/*index.php* User-agent: JikeSpider Disallow: / User-agent: AhrefsBot Di……

robots这样写是否正确？搜外小伙伴麻烦指点下正确写法 Robots

<p>搜外小伙伴帮看看robots写法对不对，</p><p>屏蔽SEKA这个目录，允许其中的几个栏目页被蜘蛛抓取</p><p><br></p>……

大神帮忙看一下这个现象！！！ Robots 站长工具

<p></p><p><br></p><p>站长工具说是服务器不稳定导致，可是网站一直访问都是属于正常状态，所以跑到站长工具测试了一下抓取诊断，提示拒绝访问，可是robo……

为什么网站安装了微一个微信分享的插件，百度就不停地访问 网站收录 Robots 百度蜘蛛

<p>为什么网站安装了一个微信自定义分享的插件</p><p>，百度就不停地访问 /plugins/weshare/index.html 这个目录</p><p>这个目录打开是：<……

robots只抓取html行不行？ Robots 网站优化 JS

只抓取网站html行不行？          将含？的页面，模板、图片、css、js目录这些都不抓取行不行？  会不会影响网站优化的呢 有没有副作用？？Allow:*.htmlDisallow: /某个目录/Disallow: /*?*Di……

公司特殊原因，网站要robots屏蔽内容抓取，但又需要做排名，怎么解决？ Robots 二级域名 排名

公司网站因为特殊原因，主站内部的内容是robot不允许被抓取的，但是老板又想要网站优化有排名，这让人很困扰。我想是建立一个二级域名，通过优化二级域名的排名来给一级域名传导权重，不知道这样是否合适？或者有其他方法可以操作？……

robots设置中我想屏蔽以tem开头的目录怎么设置? Robots

robots设置中我想屏蔽以tem开头的目录怎么设置?第一种：Disallow: /tem*/      第二种：Disallow: /tem*/是第一种设置有效还是第二种设置有效？……

百度抓取诊断显示403拒绝访问！ Robots 伪静态 PHP 静态

使用百度诊断抓取网站链接，网站伪静态的链接可以正常抓取，有部分动态链接抓取显示“拒绝访问”，请问怎么回事啊？robots文件我也检查了，没有问题。抓取这样的链接：http://www.chinasjha.com/movies/就没问题。换成……

为什么百度快照更新了好几次就是不更新，还是原标题跟描述。兄弟们有遇到过这个问题吗？ Robots 百度快照 快照更新 百度资源平台

robots没有拦截，访问网站时确实是改了，但快照就是更新不成功，还有百度资源平台那个robots更新一直提示请求失败。……

网站建站已经马上三个月了，索引量2，收录就一个首页 Robots 文章 索引

<p>网站建站已经马上三个月了，索引量2，收录就一个首页<br><br>实在不知道为什么？robots设置的全部抓取，抓取诊断偶尔说抓取失败，原因百度显示为：抓取异常信息：其他错误，重新再测又显示可以了正……

robots更新问题，从禁止所有蜘蛛抓取，到允许蜘蛛抓取已经调整过了。快照未更新 Robots 百度收录 索引

新站长时间使用robots禁止所有蜘蛛抓取，但还是被百度收录了，快照显示，网站标题下方，提示由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述 ，，robots.txt已经更换为允许蜘蛛抓取，……

robots.txt怎么写？ Robots

怎么这个robots文件？

什么是robots.txt文件？ Robots

什么是robots.txt文件？robots.txt文件是用来干啥的

网站的robots文件又必要加网站地图吗 Robots Site Sitemap

本地服务开锁换锁芯网站的robots文件里有必要加sitemap吗，对优化有没有帮助，还是手动去提交sitemap 本地服务开锁换锁芯 ……

网站有很多不相关页面，能不能删掉，对网站有啥影响不？ Robots 排名 文章

网站之前发布了很多不相关文章，现在想删掉，对排名有啥影响吗？或者不删掉的话用robots协议屏蔽了有用吗？……

用记事本写Robots.txt文件要怎么写，大神帮帮忙 Robots Nofollow 备案

没有模版后台弄不来nofollow，不让抓取联系我们，关于我们跟备案

meta robots标签不区分大小写，对吗？ Robots

meta robots标签不区分大小写，对吗？

网站绑定了2个域名，怎么禁止百度蜘蛛抓取 ，另外一个域名 Robots 百度蜘蛛

绑定了A和B域名，想B域名不被抓取，怎么利用robots.txt 禁止百度蜘蛛抓取B域名

此网站robots协议具体该屏蔽哪些？ Robots

此网站robots协议具体该屏蔽哪些？

新站，通过查看日志发现百度每天来抓取几次robots文件，大家都放置robots文件了吗？ Robots

如题总觉得现在做SEO是不是放置robots没什么必要，毕竟也不会防止搜索引擎抓取什么，而且即便放置了，搜索引擎一般也是照抓不误。现在大家还都写robots吗？……

最近蜘蛛对我不感兴趣，抓去诊断一直失败？ Robots

这是咋回事robots也没有禁止啊！

为啥通过robots.txt文件禁止百度抓取的页面一直不删除收录的页面 Robots 网站改版 百度收录 PHP

www.liangchen520.com 这个网站改版后，之前有一些老链接失效了，一直被百度收录，设置禁止抓取一直没有删除，几个月了。User-agent:* Disallow: /index.php/detail/cybq/17 Disa……

蜘蛛不爬栏目页，有谁知道什么原因 Robots JS

一年不到的新站，上手运营了三个多月，各个栏目下的文章基本都有收录，但是栏目页不收录，看日志蜘蛛也没有爬取过，robots检查没有问题，找不到原因，谁能看的诊断的出来。https://www.eduzzyjs.com/mba/https://……

我的网站上线并收录后又写了robots会怎么样？ Robots 内容采集

我的网站上线并收录后又写了robots，后来改动完成取消了robots收录却一直没有变化，现在网站已经一个多月了。网站内容采集信息较多，是不是被百度列为沙盒期了。……