1252
浏览
网站没搭建好就被收录了 有什么影响 Robots Site
我网站开始做的时候直接上了robots禁止抓取，经过了几天算是正式做好提交上线了，提交站长后顺手site查看了一下，没想到首页已经被收录了，点击快照一看，是网站刚安装好的初始界面，内容关键词都是默认的时候在我上robots之前的空档秒收录了……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1251
浏览
1250
浏览
1249
浏览
网站业务文件没有在根目录下面是否有影响 Robots 404页面 根目录 404
首先，我不太确定是否有什么不好的影响，我和建站人员沟通后了解到根目录是在我们站点文件夹下public这个文件，public这个文件夹里面放了404页面，站点地图及robots文件。访问XXX/robots.txt也确实能访问。那就确定根目录……
1248
浏览
离职的员工给robots加了这代码 Robots 增加收录 代码
<p><br></p><p>他说能增加收录，是真的吗</p>
1242
浏览
1240
浏览
为啥百度的robots.txt请求失败，是我的问题还是百度的问题 Robots
<p><br></p>
1237
浏览
网站首页被k该如何查找原因 Robots JS 404 代码
一、近期网站修改记录 SEO的每一个重要方案的上线迭代时间点，都需要进行记录，作为之后对问题的排查和线索发现的依据，同时建立方案到效果的量化关系，与K站相关的常见几种问题： 1)、导致错误链接的修改 2)、影响站内结构的调整 3)、……
1236
浏览
竞价的首页动态url被大量收录，如何处理？ Robots canonical 竞价
<p>站点是手机站，刚接手的时候发现站点收录全是首页的，仔细一看是首页用来做竞价了，于是带有各种参数的动态url（如：<a href="http://m.guanlingls.com/?source=baidu&……
1235
浏览
日志分析页面抓取最前面的不是内容，这些是否需要写Robots屏蔽掉呢？ Robots 日志分析
日志分析页面抓取最前面的不是内容，这些是否需要写Robots屏蔽掉呢？
1233
浏览
想屏蔽抓取问号后面的网址，robots要这么写呢？ Robots
最近收录了很多 http://www.xxx.com/?mType=Group 这样的网址，问号后面的字符是随机的，如果想屏蔽要这么写呢？谢谢大佬Disallow: /?* 这样写对吗还是要 Disallow: /?*=*……
1232
浏览
百度蜘蛛抓取内容页怎么处理？ Robots 百度移动 站内站 移动端
搜6的几个网站，百度PC蜘蛛只抓取首页，百度移动端蜘蛛只抓取首页跟站内站，不抓取文章和产品的内容，这种情况问题出在哪里呢？？ robots也没啥问题 问题出在哪呢？ 该怎么解决比较合适呢？……
1230
浏览
robots已经屏蔽了动态url，为什么蜘蛛还在抓 Robots 跳转
<p><br></p><p><br></p><p><br></p><p>首先跟技术沟通过动态url做跳转，但是忘记技术说……
1229
浏览
robots.txt文件里提交了网站地图，还有必要在网站首页提交网站地图吗？ Robots
robots.txt文件里提交了网站地图，还有必要在网站首页提交网站地图吗？
1228
浏览
帝国cms的robots怎么写呢？ CMS Robots 帝国CMS
帝国再带的Disallow: /d/ Disallow: /e/class/ Disallow: /e/config/ Disallow: /e/data/ Disallow: /e/enews/ Disallow: /e/update/ ……
1227
浏览
robots文件内容过多，会影响百度抓取吗？ Robots
robots文件内容过多，会影响百度抓取吗？
1227
浏览
这个网站站长提交robots提示服务器500 Robots
<p>国爱电火灶国爱电火灶这个网站站长提交robots提示服务器500<br></p><p></p>……
1226
浏览
蜘蛛只抓取robots.txt Robots
为什么我网站的蜘蛛只抓取robots.txt和内页。。。不抓取首页.... 有大佬遇过这问题吗。。。没……
1223
浏览
网站robots文件常规怎么设置？ 推荐热议 Robots
直接允许全部吗？还是说有什么特殊目录需要限制？# robots.txt generated at https://meimeifa.com/robots/ User-agent: * Disallow: ……
1220
浏览
如何对网站的robots.txt进行设置？ Robots
如何对网站的robots.txt进行设置？
1219
浏览
sitemap.xml需要使用robots屏蔽百度抓取吗？ Robots Site
sitemap.xml需要使用robots屏蔽百度抓取吗？
1216
浏览
robots是给百度蜘蛛快速识别的吗？ Robots
robots别的还可以有哪些用处？
1214
浏览
1213
浏览
robots协议通配符问题 Robots 百度百科
<p>关于robots协议到底能不能用通配符呢？百度百科说不能。到底能不能呢？？？</p><p><br></p><p><br></p><p……
1213
浏览
百度站长网robots错误码：500 Robots
前几天网站变慢，更新把环境和程序装了一下，之后查看百度站长网更新robots，出现，您的服务器配置有误，百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500。是什么意思？……
1212
浏览
1208
浏览
新站为什么10多天还不收录?好着急！！！ Robots
一个新网站，放开蜘蛛已经一个星期了，但是还是不收录。很奇怪，检查robots文档也都正常。也提交了给了搜索引擎，但是到现在首页都没有收录，大家帮我看看这个网站https://www.bazayu.com/是哪里出了问题？……
1208
浏览
网站上线50天了，内容更新了70篇，百度、360都未收录，求诊断 Robots Site 同IP Sitemap
网站http://www.wangyushi.net 上线50天了，内容每天正常更新，到现在已经有70篇内容了，也交换了一些友情链接，但不知道为什么一直没收录，在百度站长平台提交了sitemap.xml文件，抓取诊断也都正常，而且速度也还不……
1206
浏览
robots文件怎么写？ Robots
那个，谁能帮帮忙写个robots?
1206
浏览
1206
浏览
关于双端站的pc站的robots写法 Robots 根目录
大佬们，我是第一次做双端的站点关于robots有个问题啊因为m端是放在了pc端的根目录下面，就意味pc的robots不禁止m目录的话 那抓取会变成主域名 +m+内容html，这样的话岂不是和镜像一个意思，百度直接会说我是作弊啊。。。咋办啊 ……
1205
浏览
我的robots写的有点多，这样会不会不利于爬取？ Robots 站长工具 百度站长工具
<p>如下图，因为网站有很多页面的内容是完全一样的，只不过url不一样，为了避免搜索引擎重复收录内容，我写了这个robots，写的条目有点多，不知道这样会不会给搜索引擎打来判断上的工作量？不知道像这样条目太多会不会影响搜索引擎对……
1205
浏览
有趣的问题！网站不兼容ie在使用ie访问时提升用户升级浏览器，导致抓取出错 Robots 浏览器
<p>给首页加了判断，当用户使用ie访问时，会提示用户浏览器版本过低升级浏览器，做了这个之后百度抓取首页标题成了提示页面的标题如下</p><p><br></p><p>这……
1204
浏览
z-blog主题robots问题 推荐热议 Robots Site Sitemap
<p>为什么z-blog很多模板商、或者seo插件商都推荐下面这种robots写法？？ 除了安装文件就这两个文件为什么要全禁止了？</p><p>奇怪的是全部禁止后通过尖叫青蛙检测居然是正常的，原理是什么……
1204
浏览
不知道这个文件Robots.txt这样设计对吗 Robots 备案
User-agent: * Disallow: /https://www.pcbczx.cn/gywm Disallow: /https://www.pcbczx.cn/lxwm Disallow:/http://www.beian.gov……
1203
浏览
为什么我的robots文件检测报告是这样显示的？ Robots
<p><br></p><p>所有规则都挤在一个框框里。。。。</p>
1200
浏览
网站首页被K，百度降权了，大家帮我看看可能是什么原因？ 网站被k Robots 首页被K 文章
网址：www.chinazz.org.cn说明：12.19日开始掉词，发现robots被修改为屏蔽所有抓取，赶快改回来了，之后就一直掉；在排查原因，可能性：1、近期采集政府公告文章；2、标签添加大量关键词，过度友好；3、以前添加的有些外链网……
1198
浏览
在静态页面上使用动态参数，会造成spider多次和重复抓取，这个问题怎么解决？ Robots 动态链接 静态
<p><br></p><p>如图，这动态链接怎么怎么解决？写进robots.txt里？</p><p>有没有更好的办法？</p>……
