1219
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1219
浏览
网站首页被k该如何查找原因 Robots JS 404 代码
一、近期网站修改记录 SEO的每一个重要方案的上线迭代时间点，都需要进行记录，作为之后对问题的排查和线索发现的依据，同时建立方案到效果的量化关系，与K站相关的常见几种问题： 1)、导致错误链接的修改 2)、影响站内结构的调整 3)、……
1214
浏览
竞价的首页动态url被大量收录，如何处理？ Robots canonical 竞价
<p>站点是手机站，刚接手的时候发现站点收录全是首页的，仔细一看是首页用来做竞价了，于是带有各种参数的动态url（如：<a href="http://m.guanlingls.com/?source=baidu&……
1212
浏览
想屏蔽抓取问号后面的网址，robots要这么写呢？ Robots
最近收录了很多 http://www.xxx.com/?mType=Group 这样的网址，问号后面的字符是随机的，如果想屏蔽要这么写呢？谢谢大佬Disallow: /?* 这样写对吗还是要 Disallow: /?*=*……
1211
浏览
robots文件内容过多，会影响百度抓取吗？ Robots
robots文件内容过多，会影响百度抓取吗？
1211
浏览
1207
浏览
站长提示robots文件被设置重定向跳转，对网站的抓取会有影响吗 Robots 跳转
<p></p>
1206
浏览
日志分析页面抓取最前面的不是内容，这些是否需要写Robots屏蔽掉呢？ Robots 日志分析
日志分析页面抓取最前面的不是内容，这些是否需要写Robots屏蔽掉呢？
1206
浏览
如何对网站的robots.txt进行设置？ Robots
如何对网站的robots.txt进行设置？
1205
浏览
为啥百度的robots.txt请求失败，是我的问题还是百度的问题 Robots
<p><br></p>
1205
浏览
网站robots文件常规怎么设置？ 推荐热议 Robots
直接允许全部吗？还是说有什么特殊目录需要限制？# robots.txt generated at https://meimeifa.com/robots/ User-agent: * Disallow: ……
1204
浏览
百度蜘蛛抓取内容页怎么处理？ Robots 百度移动 站内站 移动端
搜6的几个网站，百度PC蜘蛛只抓取首页，百度移动端蜘蛛只抓取首页跟站内站，不抓取文章和产品的内容，这种情况问题出在哪里呢？？ robots也没啥问题 问题出在哪呢？ 该怎么解决比较合适呢？……
1204
浏览
这个网站站长提交robots提示服务器500 Robots
<p>国爱电火灶国爱电火灶这个网站站长提交robots提示服务器500<br></p><p></p>……
1201
浏览
robots是给百度蜘蛛快速识别的吗？ Robots
robots别的还可以有哪些用处？
1198
浏览
1195
浏览
robots协议通配符问题 Robots 百度百科
<p>关于robots协议到底能不能用通配符呢？百度百科说不能。到底能不能呢？？？</p><p><br></p><p><br></p><p……
1193
浏览
1192
浏览
1192
浏览
蜘蛛只抓取robots.txt Robots
为什么我网站的蜘蛛只抓取robots.txt和内页。。。不抓取首页.... 有大佬遇过这问题吗。。。没……
1191
浏览
sitemap.xml需要使用robots屏蔽百度抓取吗？ Robots Site
sitemap.xml需要使用robots屏蔽百度抓取吗？
1190
浏览
robots文件怎么写？ Robots
那个，谁能帮帮忙写个robots?
1190
浏览
1189
浏览
1189
浏览
z-blog主题robots问题 推荐热议 Robots Site Sitemap
<p>为什么z-blog很多模板商、或者seo插件商都推荐下面这种robots写法？？ 除了安装文件就这两个文件为什么要全禁止了？</p><p>奇怪的是全部禁止后通过尖叫青蛙检测居然是正常的，原理是什么……
1189
浏览
有趣的问题！网站不兼容ie在使用ie访问时提升用户升级浏览器，导致抓取出错 Robots 浏览器
<p>给首页加了判断，当用户使用ie访问时，会提示用户浏览器版本过低升级浏览器，做了这个之后百度抓取首页标题成了提示页面的标题如下</p><p><br></p><p>这……
1188
浏览
新站为什么10多天还不收录?好着急！！！ Robots
一个新网站，放开蜘蛛已经一个星期了，但是还是不收录。很奇怪，检查robots文档也都正常。也提交了给了搜索引擎，但是到现在首页都没有收录，大家帮我看看这个网站https://www.bazayu.com/是哪里出了问题？……
1188
浏览
网站上线50天了，内容更新了70篇，百度、360都未收录，求诊断 Robots Site 同IP Sitemap
网站http://www.wangyushi.net 上线50天了，内容每天正常更新，到现在已经有70篇内容了，也交换了一些友情链接，但不知道为什么一直没收录，在百度站长平台提交了sitemap.xml文件，抓取诊断也都正常，而且速度也还不……
1183
浏览
robots.txt文件里提交了网站地图，还有必要在网站首页提交网站地图吗？ Robots
robots.txt文件里提交了网站地图，还有必要在网站首页提交网站地图吗？
1183
浏览
帝国cms的robots怎么写呢？ CMS Robots 帝国CMS
帝国再带的Disallow: /d/ Disallow: /e/class/ Disallow: /e/config/ Disallow: /e/data/ Disallow: /e/enews/ Disallow: /e/update/ ……
1182
浏览
关于双端站的pc站的robots写法 Robots 根目录
大佬们，我是第一次做双端的站点关于robots有个问题啊因为m端是放在了pc端的根目录下面，就意味pc的robots不禁止m目录的话 那抓取会变成主域名 +m+内容html，这样的话岂不是和镜像一个意思，百度直接会说我是作弊啊。。。咋办啊 ……
1181
浏览
我的robots写的有点多，这样会不会不利于爬取？ Robots 站长工具 百度站长工具
<p>如下图，因为网站有很多页面的内容是完全一样的，只不过url不一样，为了避免搜索引擎重复收录内容，我写了这个robots，写的条目有点多，不知道这样会不会给搜索引擎打来判断上的工作量？不知道像这样条目太多会不会影响搜索引擎对……
1180
浏览
robots已经屏蔽了动态url，为什么蜘蛛还在抓 Robots 跳转
<p><br></p><p><br></p><p><br></p><p>首先跟技术沟通过动态url做跳转，但是忘记技术说……
1178
浏览
不知道这个文件Robots.txt这样设计对吗 Robots 备案
User-agent: * Disallow: /https://www.pcbczx.cn/gywm Disallow: /https://www.pcbczx.cn/lxwm Disallow:/http://www.beian.gov……
1175
浏览
谁会做robots? Robots
http://www.ayztsj.com
1172
浏览
在静态页面上使用动态参数，会造成spider多次和重复抓取，这个问题怎么解决？ Robots 动态链接 静态
<p><br></p><p>如图，这动态链接怎么怎么解决？写进robots.txt里？</p><p>有没有更好的办法？</p>……
1171
浏览
网站业务文件没有在根目录下面是否有影响 Robots 404页面 根目录 404
首先，我不太确定是否有什么不好的影响，我和建站人员沟通后了解到根目录是在我们站点文件夹下public这个文件，public这个文件夹里面放了404页面，站点地图及robots文件。访问XXX/robots.txt也确实能访问。那就确定根目录……
1170
浏览
你们的Robots更新得了吗？ Robots
在百度资源后台，你们可以更新网站Robots？，好像一直更新不了，不知道大家是否一样
1170
浏览
网站首页被K，百度降权了，大家帮我看看可能是什么原因？ 网站被k Robots 首页被K 文章
网址：www.chinazz.org.cn说明：12.19日开始掉词，发现robots被修改为屏蔽所有抓取，赶快改回来了，之后就一直掉；在排查原因，可能性：1、近期采集政府公告文章；2、标签添加大量关键词，过度友好；3、以前添加的有些外链网……
