1182
浏览
为什么sitemap有时候推送有时候不推送， Robots Site Sitemap
<p>提问为什么sitemap有时候推送有时候不推送， 在robots里面也有填sitemap</p><p></p>……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
1182
浏览
网站绑定了2个域名，怎么禁止百度蜘蛛抓取 ，另外一个域名 Robots 百度蜘蛛
绑定了A和B域名，想B域名不被抓取，怎么利用robots.txt 禁止百度蜘蛛抓取B域名
1181
浏览
Robots.txt 我写对了吗？ Robots WordPress 文章
<p>最近用wordpress做了个网站 ，发现搜索引擎乱抓站内URL 莫名其妙不知道什么原因，多次处理无果，于是乎想用robots.txt文件来限制掉，搜索引擎抓取所有东西，只让搜索引擎抓取 首页 目录及文章页面</p&……
1181
浏览
1179
浏览
robots我明明已经禁止red前缀的链接，百度为啥还收录 Robots
<p>robots我明明已经禁止red前缀的链接，百度为啥还收录？？还有我检查robots也是正常正确的。</p><p><br></p>……
1177
浏览
网站好像是被黑，但是查不出来 PPT Robots 网站被黑
第一次出现这种被黑的情况，例如：域名/?xxxxxxx.doc；域名/?xxxxxx.pptx；.xml；等等这种类型的; /?后面被收录了10来条，全部都是黑的东西，但是查了ftp没有任何页面;我自己是用robots先禁止了 /? （这……
1177
浏览
百度抓取诊断显示403拒绝访问！ Robots 伪静态 PHP 静态
使用百度诊断抓取网站链接，网站伪静态的链接可以正常抓取，有部分动态链接抓取显示“拒绝访问”，请问怎么回事啊？robots文件我也检查了，没有问题。抓取这样的链接：http://www.chinasjha.com/movies/就没问题。换成……
1176
浏览
有没有大佬，站长后台发现抓取失败，检测robots显示服务器配置有误是因为什么？怎么解决 Robots
<p></p><p></p>
1176
浏览
1175
浏览
robots里可以放txt格式的网站地图吗？？ Robots Site Sitemap
比方说我们会在robots里填写:Sitemap: http://www.xxx.com/sitemap.xmlSitemap: http://www.xxx.com/sitemap.html那么能不能在robots里填写:Sitemap:……
1175
浏览
robots里有必要填写allow吗 Robots Site Sitemap
比方说想专门想让蜘蛛爬取某个链接或者某个目录，有必要在robots里设置allow吗 比如 Allow: http://www.qqqqq1.com/a另外 在robots里放了 Sitemap:http://www.qqqqq1.c……
1173
浏览
标题单一内容简单的论坛的帖子是否有必要屏蔽百度收录 推荐热议 Robots 百度收录 文章
网站下有一个论坛，每天都有人发表一些标题简单又有点重复的，内容大部分是图睛有的几个字或是纯图片，百度每天大部分都收录了。网站内容每天也手动更新几篇比较用心的长内容。也都收录了，但是每天收录论坛这些水帖比较多，用心的内容只占了十分之一二，这些……
1171
浏览
此网站robots协议具体该屏蔽哪些？ Robots
此网站robots协议具体该屏蔽哪些？
1170
浏览
我的网站有一个后台Robots.tet要怎么弄 Robots
上面说通过Robots.tet告诉那些能抓取哪些不能抓取，不能抓取的会给予权重吗？大神教教要怎么弄……
1170
浏览
百度是不是可以不遵守robots协议？ Robots 伪静态 静态
百度是不是可以不遵守robots.我的网站同一个网页收录了很多不同的url链接,然后2月初设置了robots和伪静态。但是上周五一些老的url依然被收录和存在。这样会不会导致我的网站被降权？……
1170
浏览
蜘蛛池对收录有帮助吗 Robots 排名 文章 友链
<p>小编——@小红帽蜘蛛池，快速收录支持测试</p><p></p><p>一是网站关键字定位。</p><p>这个概念很大，需要细分理解。比如从没有太多推广经……
1168
浏览
网站昨天被K，今天百度提交就成这样了，怎么回事 Robots
<p>网站www.gzxsh.com,昨天被一个人渣K了一下，今天的robots就成这样了，怎么回事，现在怎么办</p>……
1167
浏览
robots设置中我想屏蔽以tem开头的目录怎么设置? Robots
robots设置中我想屏蔽以tem开头的目录怎么设置?第一种：Disallow: /tem*/ 第二种：Disallow: /tem*/是第一种设置有效还是第二种设置有效？……
1167
浏览
robots.txt文件存在限制指令，现在已经删除了，一直不更新 Robots
<p><br></p><p>去做反馈了，也一直没给更新过来</p>
1163
浏览
用记事本写Robots.txt文件要怎么写，大神帮帮忙 Robots Nofollow 备案
没有模版后台弄不来nofollow，不让抓取联系我们，关于我们跟备案
1161
浏览
1160
浏览
搜狗只抓取www.gmzyzz.com/robots.txt Robots 搜狗
http://www.gmzyzz.com/robots.txt 搜狗蜘蛛只抓取robots文件，如何引导蜘蛛抓取网站内容页呢？
1160
浏览
Robots.tet文件这样上传不知道对不对，请大神指点一二 Robots 备案
# robots.txt generated at http://tool.chinaz.com/robots/ User-agent: * Disallow: User-agent: * Disallow: Disallow: /bin……
1158
浏览
就算允许搜索引擎抓取所有页面，也应该在根目录放个空的robots文件，对吗？ Robots 根目录
就算允许搜索引擎抓取所有页面，也应该在根目录放个空的robots文件，对吗？
1158
浏览
全站内容收录22万，但首页一直不收录！一年了 Robots 站长平台 内容收录
囧， www.fanhuangli.com 什么原因呢？首页一直不收录，直接搜索首页网址也是显示未收录！但是除了首页其他都正常，都收录了22万了，站长平台也显示出词正常、这一年了首页就是不收，robots什么的都正常……
1157
浏览
【推广站改优化站】各位大佬能帮我看看改版后的网站有什么问题吗？ Robots canonical 跳转 文章
我有几个疑问如下：1、网站改版后原来的推广页，是否需要转移到新解析的二级域名去，还是继续用原来的二级目录，推广页上的广告弹窗会不会影响到优化，百度好像对广告弹窗打击得比较严。2、网站的移动端是独立站，域名是带m的，但是页面被PC端收录了，而……
1154
浏览
robots到底怎么写？ Robots
网上各种写法教程五花八门，眼睛都看花了，需要禁止一部分吗？大家是怎么写的。www.maomibo.com……
1153
浏览
网站有很多不相关页面，能不能删掉，对网站有啥影响不？ Robots 排名 文章
网站之前发布了很多不相关文章，现在想删掉，对排名有啥影响吗？或者不删掉的话用robots协议屏蔽了有用吗？……
1152
浏览
网站在百度搜索结果中的收录，只显示网址，没有标题，描述，什么原因？ Robots 搜索结果
网站在百度搜索结果里只有网址，标题关键词都不显示，这是什么原因呢，robots已经很久没有动了，并且robots写法也是没有问题。……
1150
浏览
如何只让PC端排名，不让移动端抢权重？ 数据库 Robots 排名
最近网站遇到了pc和移动端都收录的问题，虽然模板不同，但是百度好像判断不了哪个是pc页面，导致两个页面都没有排名。网站因为是pc移动共用一个数据库的原因，不能在移动端下面写robots文件，所以使用了网页头部写mate robots，效果还……
1149
浏览
谷歌搜网站名称“没有此网页的信息”，提示我robots文件屏蔽了首页？ Robots 宝塔 宝塔面板
<p>谷歌搜网站名称“赤道365论坛”，显示“没有此网页的信息”。<br><br><br><br></p><p>网站带www和不带www的域名都进行了解析，……
1148
浏览
Robots文件对于网站优化有这什么重大意义? Robots 网站优化
Robots文件对于网站优化有这什么重大意义?
1148
浏览
网站robots文件这样写的格式对了吗 Robots
<p><br></p><p><br></p>
1148
浏览
什么是robots.txt文件？ Robots
什么是robots.txt文件？robots.txt文件是用来干啥的
1146
浏览
首页被大量重复收录怎么办 Robots 404 代码
<p><br></p><p><br></p><p>首页被大量重复收录，就是因为防火墙还是什么原因导致首页网址后面出现大量随机代码的后缀，但都是首页，目前查询……
1145
浏览
网站目前的怎么做？对于2020年网站优化的建议及感慨 Robots 网站改版 备案 文章
很多朋友给王听风抱怨说网站最近开始出现不收录的状态了，抓取也有啊，后台蜘蛛也在访问这种情况应该如何办？许多问题都是这样的，不收录，没有词库，甚至在降权。建议针对目前时间：2020/12/9第一：网站的领域不要说你做SEO博客的网站还去做养生……
1144
浏览
求教！robots检测结果是这样？什么意思？会影响收录吗？ 网站收录 Robots
<p>刚才检测了一下网站的robots，这三个页面代表什么呢？查了查也没有头绪，会影响蜘蛛爬行结果么？对网站收录有影响吗？</p><p><br></p>……
1143
浏览
robots写法怎么写对? Robots
请问大佬们，网站的robots要怎么写对?还有 查看网站的robots文件如何查看？高手指教了。
1143
浏览
