Robots

这样的日志分析有问题吗？？ Robots PHP JS 404

<p>用好格拉日志分析   这里是这样显示的     404的都是图片    这样的日志分析结果有哪些问题呢  谢谢大家指正</p><p>要不要将JS     PNG  JPG     PHP   这些都……

请问为啥蜘蛛只爬robots.txt和sitemap.xml啊 Robots Site Sitemap

以前没遇到过

看百度蜘蛛老是抓到404页面，百度站长上提交了死链，那robots中还要不要做禁止抓取代码？ Robots 404

看百度蜘蛛老是抓到404页面，百度站长上提交了死链，那robots中还要不要做禁止抓取代码？就是想提高网站的蜘蛛来不浪费资源。。……

蜘蛛不抓内页，只抓首页，网站没设置robots.txt文件 Robots

百度站长平台检测https的robots.txt出错怎么解决 Robots 站长平台

百度站长平台检测https的robots.txt出错怎么解决 Robots 站长平台

首页抓取异常、robots文件设置了重定向跳转、一些列异常，首页直接搜不到了 数据库 Robots 抓取异常 跳转

<p>不知道技术调整了什么，服务器、域名、数据库都在技术那边在调整，seo人员无法去排查，只能通过工具查找原因，再找技术去处理。。</p><p><br></p>……

伪静态url也不利于搜索引擎收录吧？怎样用ROBOTS文件禁止 Robots 静态

伪静态url也不利于搜索引擎收录吧？我是用凡科建站搭建的网站，360搜索引擎只收录了首页。url连接里没有“？”但是却有其他特殊符号，怎样用ROBOTS文件禁止这一类页面？……

robots.txt文件写法规则是怎么的？ Robots

robots.txt文件写法规则是怎么的？其中写了Disallow:/*_gaoqi/意思是Disallow:/123_gaoqi/Disallow:/eee_gaoqi/Disallow:/9e9_gaoqi/这种类型的都拒绝蜘蛛抓取吗？……

日志大量ip不像正常蜘蛛ip，而且有很多已屏蔽的后台文件被抓取是怎么回事呢@推推蛙 Robots

<p>查看日志情况，发现在robots文件屏蔽的目录还是被抓取，而且统计ip段数量，感觉不像正常的蜘蛛，是怎么回事呢<br></p>……

如何在robots.txt里屏蔽夸克搜索引擎蜘蛛 Robots 索引

请问，如何在robots.txt里屏蔽夸克搜索引擎蜘蛛？

谁有空帮我分析一下，这样写的robots.txt文件对不对啊 Robots

<p></p>

我在robots.txt中设置了禁止百度收录我网站的内容 Robots 百度收录

我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？

百度蜘蛛无法对网站正常索引爬行? Robots 百度蜘蛛 索引

百度蜘蛛无法对网站正常索引爬行，抓取诊断显示“未解析到IP或有Robots封禁 ”我的网站屏蔽蜘蛛三天之后又重新开启了，但是百度蜘蛛都不来网站爬行，后台使用抓取诊断显示“未解析到IP或有Robots封禁 ”，robots文件检测也没有问题，……

关于百度死链处理机制的一个提问 Robots 404 文章 索引

经过研究发现一个网站死链多少不重要，重要的是当天百度抓取的死链数量，如果当天抓取的死链数量达到一个阈值网站就会受到惩罚，比如降权，收录变慢，收录率变低，甚至停止收录。曾经有一个站也删除了大量文章，也没事，秒收。因为百度抓取频率是变化的，有时……

网站robot文件可以加sitemap.txt吗？ Robots Site Sitemap

<p>如果在robots文件里面加入sitemap.txt可以吗？不是sitemap.xml<br></p><p>例如这样的   </p>……

为什么我的网站在百度一直提示robots封禁,相关内容不显示呢 Robots

网站前台和后台是不同二级域名，robots需要分开写吗？ Robots 二级域名 根目录

例如：网站前台地址是www.abc。Com ,网站后台地址是eee.abc。Com ,不想让蜘蛛抓取后台地址，这时候只需要在后台地址的根目录上传robots文件可以吗？这样做对网站前台域名有没有影响？毕竟都是同一个域名下的。……

关于百度收录存在相同收录的问题。 Robots 百度收录 ajax PHP

<p><br><br></p><p>网站存在相同的收录，这个在程序中没法用301来实现，因为有AJAX的调整用路径也是那个，如果用301可能会出问题。</p><p……

网站好像是被黑，但是查不出来 PPT Robots 网站被黑

第一次出现这种被黑的情况，例如：域名/?xxxxxxx.doc；域名/?xxxxxx.pptx；.xml；等等这种类型的;  /?后面被收录了10来条，全部都是黑的东西，但是查了ftp没有任何页面;我自己是用robots先禁止了 /? （这……

请教如何通过robots文件，屏蔽掉这个规则 Robots

请教如何通过robots文件，屏蔽掉这个规则。。Com/tags-关键词-0.html请给出Disallow: /  的规则。我会通过工具验证，通过后确认送分。……

这种情况，可以在robots文件里面写屏蔽吗？应该怎么写啊 Robots

<p></p>

网站因为是支持后台的网站，怎么让蜘蛛不要抓取？ Robots

网站www.zyxgjt。Com，是作为其他功能支撑的网站，所以不想让蜘蛛抓取，但是在服务器里写了robots，会跳到其他的内容上，和写的robots文件内容不同，返回服务器里又没有相对的文件。想问一下除了robots还有什么办法能让蜘蛛不……

各位大神，禁止蜘蛛抓取.php后缀，robots要如何屏蔽掉？ Robots PHP

各位大神，禁止蜘蛛抓取.php后缀，robots要如何屏蔽掉？例如以下这些/Bak/index.php/bakk/index.php/beifei/index.php/bakup/index.php/beifen/index.php……

robots文件正常访问，检测失败什么原因？ Robots

网站的robots文件是正常的，检测的时候显示：那个大神指导一下什么原因

为什么文章还没收录？？ Robots Site 文章

文章都是原创（检测都在85~99%的原创度），发了一两个月了，平均每天发50篇左右，但是还没收录（抓取频次有增长，但是不明显），问题出在哪呢？是没放出来还是就没收录？  域名也没什么问题 都是自己申请的   也没什么灰色记录，robots里……

网站改版老站点301到新站点，新老站点都存在独立robots文件 Robots 网站改版

网站改版老站点301到新站点，新老站点都存在独立robots文件，在这种情况下百度是先判断robots权限在先还是先根据301规则在先？……

robots屏蔽解除后大概需要多久可以开始收录？ Robots

如题，屏蔽了近一年。。。前几天才发现

robots里有必要填写allow吗 Robots Site Sitemap

比方说想专门想让蜘蛛爬取某个链接或者某个目录，有必要在robots里设置allow吗　比如　Allow: http://www.qqqqq1.com/a另外  在robots里放了   Sitemap:http://www.qqqqq1.c……

网站robots.txt文档一般屏蔽哪些东西，能不能把所有的js和php给禁了 Robots PHP JS

求解，

网站收录突然间被全部屏蔽展现了 网站收录 Robots Site

今天检查网站时,突然发现site+域名 收录全部没有展现了，测试了一下抓取正常,robots也正常,网站基本是每天正常维护，没有使用任何违规手法，这种情况除了反馈还有没有办法解决呢……

robots设置只抓取指定目录和首页 Robots 百度蜘蛛

虽然百度识别出了都是无效页面，但大量的抓取严重影响了服务器性能，因此通过robots设置只允许百度蜘蛛抓取指定的目录和首页，来解决这个问题。……

百度一直抓取已经删除的链接，如何减少抓取这样的链接？ Robots 网站内链 404 索引

百度一直抓取已经删除的链接，抓取404链接的占比已经是200链接的好几倍了，如何减少抓取这样的链接？在网站内链和网站地图已经剔除了这些链接，只有百度在疯狂的抓取，其它搜索引擎都不会大量抓取已经删除的链接。由于url规则因素无法通过robot……

昨天屏蔽谷歌蜘蛛后，网站打开速度快了很多！ Robots PHP Discuz 网站打开速度

天下苦谷歌久已，以前网站打开速度慢！服务器负载经常被干满，检查了很多地方没有找到原因！昨天安装了个蜘蛛插件发现谷歌蜘蛛来得比较多！所以直接给屏蔽了谷歌蜘蛛，今天发现网站速度打开块很多了！服务器负载也接近空载在跑https://www.108……

关于双端站的pc站的robots写法 Robots 根目录

大佬们，我是第一次做双端的站点关于robots有个问题啊因为m端是放在了pc端的根目录下面，就意味pc的robots不禁止m目录的话 那抓取会变成主域名 +m+内容html，这样的话岂不是和镜像一个意思，百度直接会说我是作弊啊。。。咋办啊 ……

使用光年日志分析系统理解与疑问 推荐热议 Robots Site 代码 索引

1，在概要分析中；访问次数指的是分析日志文件数据内时间段 引擎蜘蛛访问网站的次数吗？总抓取量则是该时间段引擎蜘蛛爬取网站页面链接的数量？那么，我在robots.txt设置了sitemap.txt 文件代码，sitemap.txt 文件里提交……