Robots

关于百度快照的问题 Robots 百度快照

<p>之前提问过这个问题，之所以在问一次，是想让老大哥们看下我这个网站是不是还有不利于百度抓取的东西，robots的限制指令已经修改了一个月了，百度反馈的回复一直是1-2周出结果，这都第二个两周了。很是捉急。</p>……

请问下大神们，百度为什么就爬首页和以前老早删除了的页面？ Robots 404页面 PHP 404

<p>请问下大神们，百度为什么就爬首页和以前老早删除了的页面？站点两年了，以前没空弄，中间丢失了很多页面，数据没了，网站一直没关过，只是服务器忘记续费了，几天才发现没备份，全重做了，目录路劲没变，我重新更新一个多月了，谷歌，神马……

做SEO优化的过程中为什么那么注重robots.txt? Robots SEO优化

做SEO优化的过程中为什么那么注重robots.txt?

网站建二级域名与主域名指向同一个程序，主域名会被分掉权重吗 Robots 二级域名 竞价

如题，为了区分竞价来的线索和自然流量线索，我想将网站建一个二级域名，新建的二级域名与主域名都指向同一个网站，然后在robots中设置disallow禁止蜘蛛抓取这个二级域名，这个新建出来的二级域名会影响主域名的权重吗？……

网站在百度搜索结果中的收录，只显示网址，没有标题，描述，什么原因？ Robots 搜索结果

网站在百度搜索结果里只有网址，标题关键词都不显示，这是什么原因呢，robots已经很久没有动了，并且robots写法也是没有问题。……

如何只让PC端排名，不让移动端抢权重？ 数据库 Robots 排名

最近网站遇到了pc和移动端都收录的问题，虽然模板不同，但是百度好像判断不了哪个是pc页面，导致两个页面都没有排名。网站因为是pc移动共用一个数据库的原因，不能在移动端下面写robots文件，所以使用了网页头部写mate robots，效果还……

百度robots检测我的服务器配置有误错误码301怎么解决? Robots

网站robots文件怎么样写才是最好的？大家看看我这个网站设置的对吗 Robots

之前刚改过一次，现在这个robots.txt文件有什么问题吗？ kaoquany.com 烤全羊网站

我的robots可以正常访问，为啥百度说我服务器访问有问题？ Robots 百度说

<p>我的robots可以正常访问</p><p></p><p><br></p><p>百度说服务器有问题</p><p>&l……

robots里可以放txt格式的网站地图吗？？ Robots Site Sitemap

比方说我们会在robots里填写:Sitemap: http://www.xxx.com/sitemap.xmlSitemap: http://www.xxx.com/sitemap.html那么能不能在robots里填写:Sitemap:……

这样的robots协议，有效吗？ Robots

<p></p>

必应的蜘蛛如何屏蔽？ Robots 必应

robots 咋写

近期网站搜索部分页面搜索不到，排名也掉，据回想，大概有三个原因 Robots 排名 文章

1.在FTP设置robots.txt禁止组和公共读取权限，只保留过所有者，11.27日左右2.在虚机上开启了HTTPS，加上了SSL访问，11.27日左右3.网站改了部分内容，复制了一些文章，12.11日左右现在是站长平台索引量没太有变化，……

写了robots怎么还是被百度抓取收录了？ Robots

这个百度是有bug，写了robots怎么还是被百度抓取收录了？

有没有大佬，站长后台发现抓取失败，检测robots显示服务器配置有误是因为什么？怎么解决 Robots

<p></p><p></p>

为什么我的网站在百度一直提示robots封禁,相关内容不显示呢 Robots

网站robots文件这样写，是禁止抓爬还是允许？ Robots

User-agent: BaiduspiderDisallow: /User-agent: 360SpiderDisallow: /User-agent: SosospiderDisallow: /User-agent: sogou spi……

pc和手机的url不一致，把手机的url目录robots屏蔽了影响排名吗 Robots 排名

织梦的网站，网站一直以为是自适应的，后面发现收录的好多是手机页面，才一看url是/m的动态地址，但是一种用的一个后台同步更新的，不想被收录/m的动态url，只想收录pc的伪静态url，用robots屏蔽了/m目录可以吗，会不会影响网站pc和……

robots这样写没有问题吧 Robots

<p></p>

robots屏蔽的内容，为什么百度依然还是收录，展示？ Robots 垃圾内容

我想将网站的垃圾内容用rotbots屏蔽，我记得百度学院说过-去掉垃圾内容可以用rotbots屏蔽掉即可。但是我发现一个问题，用rotbots屏蔽的内容还是被收录了。难道，百度自己说的也是屁话了？？？？……

网站被黑后百度收录的几万个索引怎么处理？ Robots 网站安全 404 索引

单纯的靠手工提交死链得到什么时候？网站被黑1年了，现在点开所以有的已经404，有的直接跳到首页，但是百度里几万个这样的链接怎么处理才好？robots文件似乎也不起作用。百度的回复也让人“无所适从”您好， 请检查网站安全问题， 可参考http……

robots.txt协议 Robots PHP

https://www.hbsmts.com/plus/count.php?view=yes&aid=817&mid=1这个链接如何用robots禁止蜘蛛抓取？

首页抓取异常、robots文件设置了重定向跳转、一些列异常，首页直接搜不到了 数据库 Robots 抓取异常 跳转

<p>不知道技术调整了什么，服务器、域名、数据库都在技术那边在调整，seo人员无法去排查，只能通过工具查找原因，再找技术去处理。。</p><p><br></p>……

网站没有robots文件，搜索结果却显示存在robots文件限制指令 Robots 301跳转 跳转

<p>网站www.qianxiquan.com</p><p>带www，和不带www的快照的内容显示不一样，另外带www的网站显示robots限制。</p><p>也做301跳转了，将……

网站关键词排名优化的几个阶段 Robots 搜狗 竞价 排名

SEO关键词优化能让网站在搜索引擎上有更好的排名。让更多的用户都能快速的查找到自己的网站关键词。为了让更多的人了解详情，下文浅析关键词SEO优化的三个阶段第一阶段：网站分析阶段我们要学会总结和分析，分析文章不收录的原因，分析网站外链无效的原……

百度站长工具的收抓取错误大家是怎么解决的？ Robots 站长工具 百度站长工具 ping

<p>我在百度站长测试抓取的时候反馈抓取错误</p><p><br></p><p>robots.txt是没有问题的 再命令行里ping了他的网址 返回请求超时 还有ip地……

百度站长工具robots校检的时候一直出现错误 Robots 站长工具 百度站长工具

<p><br></p><p>是不是都是这样的 </p>

百度蜘蛛每天就是来访问一下robots文件，不爬取网页 Robots 增加收录 百度蜘蛛

百度蜘蛛每天就是来访问一下robots文件，不爬取网页。谷歌一直在增加收录量，百度却一两个月了，一直就只收录了首页，其他页面不收。http://www.butterpig.top   每天都来访问一下robots就走了，这是在搞啥呢……

一级域名得robots能屏蔽子站的链接吗？ Robots

robots该怎么写？ 推荐热议 Robots

robots该怎么写？有没有规范

robots文件要怎么写才合适 Robots

922电影http://www.922dy.cc/

robots具体应该禁止些什么文件 Robots

网站前台和后台是不同二级域名，robots需要分开写吗？ Robots 二级域名 根目录

例如：网站前台地址是www.abc。Com ,网站后台地址是eee.abc。Com ,不想让蜘蛛抓取后台地址，这时候只需要在后台地址的根目录上传robots文件可以吗？这样做对网站前台域名有没有影响？毕竟都是同一个域名下的。……

网站robots设置禁止搜索引擎抓取，是不是会对收录有影响啊 Robots

我的站到底怎么啦？ Robots

<a href="http://www.xzqzm.com/" target="_self" data-url="www.xzqzm.com" class="sho……

网站日志蜘蛛爬行的页面，很多都不存在，是怎么回事啊 Robots 网站日志

我今天下载了网站日志看了看，大多数的蜘蛛爬行的页面，实际都不存在的，这种正常吗，我刚才写了一个robots文件，把那些目录都禁止了，这样可以吗……

百度蜘蛛每天都抓robots一百多次，这正常吗？ Robots 百度蜘蛛

我这网站一天蜘蛛走680多个页面，其中有180多个是robots.txt，这正常吗？？？？

网站百度快照抓取不到CSS样式，怎么修改？ Robots 百度快照

<p><br></p><p><br></p><p>robots文件也没有限制抓取，但是抓取不到CSS样式，是百度的问题还是网站的问题</p>……

网站问题，收录，网站诊断，优化问题，robots，路径设置 Robots 网站诊断

这是一条关于基础优化的帖子，大家一起看一下基础优化还有哪些需要来修改的案例网站：icmrop.com……