1162
浏览
有没有大佬，站长后台发现抓取失败，检测robots显示服务器配置有误是因为什么？怎么解决 Robots
<p></p><p></p>
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
1162
浏览
1159
浏览
meta robots标签不区分大小写，对吗？ Robots
meta robots标签不区分大小写，对吗？
1158
浏览
网站好像是被黑，但是查不出来 PPT Robots 网站被黑
第一次出现这种被黑的情况，例如：域名/?xxxxxxx.doc；域名/?xxxxxx.pptx；.xml；等等这种类型的; /?后面被收录了10来条，全部都是黑的东西，但是查了ftp没有任何页面;我自己是用robots先禁止了 /? （这……
1157
浏览
我的网站有一个后台Robots.tet要怎么弄 Robots
上面说通过Robots.tet告诉那些能抓取哪些不能抓取，不能抓取的会给予权重吗？大神教教要怎么弄……
1157
浏览
如何在robots.txt里屏蔽夸克搜索引擎蜘蛛 Robots 索引
请问，如何在robots.txt里屏蔽夸克搜索引擎蜘蛛？
1156
浏览
robots设置中我想屏蔽以tem开头的目录怎么设置? Robots
robots设置中我想屏蔽以tem开头的目录怎么设置?第一种：Disallow: /tem*/ 第二种：Disallow: /tem*/是第一种设置有效还是第二种设置有效？……
1155
浏览
网站昨天被K，今天百度提交就成这样了，怎么回事 Robots
<p>网站www.gzxsh.com,昨天被一个人渣K了一下，今天的robots就成这样了，怎么回事，现在怎么办</p>……
1154
浏览
百度是不是可以不遵守robots协议？ Robots 伪静态 静态
百度是不是可以不遵守robots.我的网站同一个网页收录了很多不同的url链接,然后2月初设置了robots和伪静态。但是上周五一些老的url依然被收录和存在。这样会不会导致我的网站被降权？……
1154
浏览
1154
浏览
robots里有必要填写allow吗 Robots Site Sitemap
比方说想专门想让蜘蛛爬取某个链接或者某个目录，有必要在robots里设置allow吗 比如 Allow: http://www.qqqqq1.com/a另外 在robots里放了 Sitemap:http://www.qqqqq1.c……
1153
浏览
robots.txt文件存在限制指令，现在已经删除了，一直不更新 Robots
<p><br></p><p>去做反馈了，也一直没给更新过来</p>
1153
浏览
标题单一内容简单的论坛的帖子是否有必要屏蔽百度收录 推荐热议 Robots 百度收录 文章
网站下有一个论坛，每天都有人发表一些标题简单又有点重复的，内容大部分是图睛有的几个字或是纯图片，百度每天大部分都收录了。网站内容每天也手动更新几篇比较用心的长内容。也都收录了，但是每天收录论坛这些水帖比较多，用心的内容只占了十分之一二，这些……
1152
浏览
为什么sitemap有时候推送有时候不推送， Robots Site Sitemap
<p>提问为什么sitemap有时候推送有时候不推送， 在robots里面也有填sitemap</p><p></p>……
1152
浏览
用记事本写Robots.txt文件要怎么写，大神帮帮忙 Robots Nofollow 备案
没有模版后台弄不来nofollow，不让抓取联系我们，关于我们跟备案
1151
浏览
就算允许搜索引擎抓取所有页面，也应该在根目录放个空的robots文件，对吗？ Robots 根目录
就算允许搜索引擎抓取所有页面，也应该在根目录放个空的robots文件，对吗？
1151
浏览
1150
浏览
此网站robots协议具体该屏蔽哪些？ Robots
此网站robots协议具体该屏蔽哪些？
1146
浏览
搜狗只抓取www.gmzyzz.com/robots.txt Robots 搜狗
http://www.gmzyzz.com/robots.txt 搜狗蜘蛛只抓取robots文件，如何引导蜘蛛抓取网站内容页呢？
1146
浏览
Robots.tet文件这样上传不知道对不对，请大神指点一二 Robots 备案
# robots.txt generated at http://tool.chinaz.com/robots/ User-agent: * Disallow: User-agent: * Disallow: Disallow: /bin……
1146
浏览
站长平台的抓取频次在哪里设置呢？怎么找到不到入口呢？ Robots 站长平台 Site Sitemap
<p>1. 站长平台的抓取频次在哪里设置呢？怎么找到不到入口呢？</p><p>2. 网站没有要屏蔽的东西，所以没建robots 但是建立了sitemap了，要不要将sitemap写进去robots？有必要……
1143
浏览
网站在百度搜索结果中的收录，只显示网址，没有标题，描述，什么原因？ Robots 搜索结果
网站在百度搜索结果里只有网址，标题关键词都不显示，这是什么原因呢，robots已经很久没有动了，并且robots写法也是没有问题。……
1140
浏览
robots到底怎么写？ Robots
网上各种写法教程五花八门，眼睛都看花了，需要禁止一部分吗？大家是怎么写的。www.maomibo.com……
1139
浏览
想做谷歌seo，请问怎么优化，服务器模板方面该怎么选择 Robots Nofollow H标签 SEO优化
1.谷歌seo优化都包括哪些方面？平时百度里面的h标签，nofollow，以及robots这些都还适用吗？具体怎么优化，有什么插件可以查询数据2.我们针对的是全球的业务，服务器节点应该咋选择，镜像方面还选择centos吗？3.做外贸模板有什……
1137
浏览
如何只让PC端排名，不让移动端抢权重？ 数据库 Robots 排名
最近网站遇到了pc和移动端都收录的问题，虽然模板不同，但是百度好像判断不了哪个是pc页面，导致两个页面都没有排名。网站因为是pc移动共用一个数据库的原因，不能在移动端下面写robots文件，所以使用了网页头部写mate robots，效果还……
1137
浏览
网站有很多不相关页面，能不能删掉，对网站有啥影响不？ Robots 排名 文章
网站之前发布了很多不相关文章，现在想删掉，对排名有啥影响吗？或者不删掉的话用robots协议屏蔽了有用吗？……
1136
浏览
网站目前的怎么做？对于2020年网站优化的建议及感慨 Robots 网站改版 备案 文章
很多朋友给王听风抱怨说网站最近开始出现不收录的状态了，抓取也有啊，后台蜘蛛也在访问这种情况应该如何办？许多问题都是这样的，不收录，没有词库，甚至在降权。建议针对目前时间：2020/12/9第一：网站的领域不要说你做SEO博客的网站还去做养生……
1136
浏览
全站内容收录22万，但首页一直不收录！一年了 Robots 站长平台 内容收录
囧， www.fanhuangli.com 什么原因呢？首页一直不收录，直接搜索首页网址也是显示未收录！但是除了首页其他都正常，都收录了22万了，站长平台也显示出词正常、这一年了首页就是不收，robots什么的都正常……
1135
浏览
首页被大量重复收录怎么办 Robots 404 代码
<p><br></p><p><br></p><p>首页被大量重复收录，就是因为防火墙还是什么原因导致首页网址后面出现大量随机代码的后缀，但都是首页，目前查询……
1135
浏览
蜘蛛池对收录有帮助吗 Robots 排名 文章 友链
<p>小编——@小红帽蜘蛛池，快速收录支持测试</p><p></p><p>一是网站关键字定位。</p><p>这个概念很大，需要细分理解。比如从没有太多推广经……
1133
浏览
【推广站改优化站】各位大佬能帮我看看改版后的网站有什么问题吗？ Robots canonical 跳转 文章
我有几个疑问如下：1、网站改版后原来的推广页，是否需要转移到新解析的二级域名去，还是继续用原来的二级目录，推广页上的广告弹窗会不会影响到优化，百度好像对广告弹窗打击得比较严。2、网站的移动端是独立站，域名是带m的，但是页面被PC端收录了，而……
1132
浏览
robots写法怎么写对? Robots
请问大佬们，网站的robots要怎么写对?还有 查看网站的robots文件如何查看？高手指教了。
1132
浏览
网站robots文件这样写的格式对了吗 Robots
<p><br></p><p><br></p>
1131
浏览
robots有问题吗？ Robots
<p><br></p>
1131
浏览
求教！robots检测结果是这样？什么意思？会影响收录吗？ 网站收录 Robots
<p>刚才检测了一下网站的robots，这三个页面代表什么呢？查了查也没有头绪，会影响蜘蛛爬行结果么？对网站收录有影响吗？</p><p><br></p>……
1129
浏览
Robots文件对于网站优化有这什么重大意义? Robots 网站优化
Robots文件对于网站优化有这什么重大意义?
1129
浏览
关于robots字段屏蔽写法的问题？ Robots
假如我要屏蔽public后面的所有字段 requestUrl:/syzl-business-api/business/public/queryCityConfModel requestUrl:"/syzl-business-api/busi……
1128
浏览
robots文件要怎么写才合适 Robots Site Sitemap
<p><br></p><p>这个是爱站网seo工具包生成网站sitemap时自动生成的robots文件，内容是不是过于少了 </p><p>需要加什么吗 </p……
