1363
浏览
为什么谷歌蜘蛛那么多？都200W多了，有有效的屏蔽谷歌蜘蛛的方法吗？ Robots 站群
<p>用的是 蚪侠镜像站群，放了50个域名，收录挺多的，就是谷歌蜘蛛N多 每日最多的时候可达500W多的量，服务器吃不消了，robots.txt屏蔽谷歌蜘蛛的方法不管用，求教有谁知道其他的屏蔽方法，谢谢！</p>……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1362
浏览
网站robots协议中没有Allow的话是正常的吗？ Robots
<p><br></p><p>www.xasjf.net/</p><p>这个网站查robots是这样显示的，请大家看看正常吗？其他网站查的话都是带<span>……
1361
浏览
这是一个关于robots的问题。请大神帮忙看看。 Robots
<p><br></p><p>一开始做网站的时候把所有的蜘蛛都屏蔽了，网站做完后我就修改了robots，如第二个图。改完之后得有四五天才收录，收录却显示robots文件限制抓取。这种情该如何处理……
1360
浏览
wordpress短链接相关问题 Robots 伪静态 排名 静态
最近我发现网站收录了很多短链接：www.***。Com/?p=123,并且在收录的过程中也会收录www.***。Com/123.html。双收录对seo不好，所有想把这个短链接用robots文件屏蔽了，但问题是短链接很多排名都很高，比伪静态……
1358
浏览
网站robots怎样设置只让他抓取首页 Robots
网站robots怎样设置只让他抓取首页
1356
浏览
百度蜘蛛大大流氓啊，都写了robots了怎么还天天抓这些。。。。。。。。 Robots 百度蜘蛛
<p><br></p>
1355
浏览
可以在robots文件中同时放置，移动端和PC端的sitemap地图不？ Robots Site
可以在robots文件中同时放置，移动端和PC端的sitemap地图不？
1353
浏览
1353
浏览
今天面试了一个5年经验的SEO Robots 聚合 仿站 黑帽
天面试了一个5年经验的SEO，发现做SEO普遍都是从其他不相关的行业转过来的，他是在某个培训机构培训了4个月出来工作的，在培训的时候做过几个网站，然后就出来工作了，出来后自己就没有单独做过网站了，只是有5年的工作经验。他的工作内容基本上是分……
1346
浏览
在网站根目录上传了robots文件，可是为什么不能显示？上传百度认证文件也不行 Robots 根目录
在网站根目录上传了robots文件，可是为什么不能显示？上传百度认证文件也不行，网站地址 http://www.558844.cn/ 研究了半天也不会 ……
1346
浏览
求助：请问下站长显示：您的robots文件设置了重定向跳转,暂时无法查看。这个是怎么回事呀 Robots 跳转
www.weileit。Com 网站改版后一直不收录，友情链接也检测不到，站长提示：您的robots文件设置了重定向跳转,暂时无法查看，请问下哪里有问题呀……
1345
浏览
昨天 网站回档了 收录掉了59条 求大佬帮助 Robots 收录率 投诉快照 快照时间
昨天 网站回档了 收录掉了59条我想了解一下是 都出现这种状态了还是就我自己呢？问题事项：九月20多号上线的网站 上线后做了robots禁用蜘蛛抓取 28号左右放开之后收录没遇到沙盒期 无限更新 每天4-8篇内容的频率 ……
1345
浏览
百度站在平台robot验证显示服务器配置有误是怎么回事？ Robots 浏览器
<p>如下图，有遇到过的大佬吗。 我robots.txt用浏览器可以正常访问的呀</p><p><br></p>……
1344
浏览
1343
浏览
应该怎么处理网站以前的采集文 Robots 内容修改
在下刚入行新手，有个问题想请教各位大佬。 我接收了一个没优化过得网站，网站里被以前的人写了好多采集文章，甚至有的一篇文章只有一句话，感觉这种情况对优化很不好，想要删除了自己再增加原创文章。但是这些文章地址例如：http://www.aika……
1339
浏览
提示：在静态页面上使用动态参数，会造成spider多次和重复抓取，怎么处理？ Robots 优化建议
这个网站，www.nbjingdu.com 优化建议里面提示在静态页面上使用动态参数，会造成spider多次和重复抓取，我把提示的这几条网址写在robots文件里面禁止抓取有用吗？……
1339
浏览
百度站长工具查询优化建议，显示robots.txt规范搜索引擎蜘蛛只抓取指定的内容，显示不存在，这是什么情况啊 Robots 站长工具
百度站长工具查询优化建议，显示robots.txt规范搜索引擎蜘蛛只抓取指定的内容，显示不存在，这是什么情况啊……
1338
浏览
robots.txt屏蔽特定页面怎么写？ Robots
老哥们，我想问个问题，就是假如我网站下面有:a.com/1.html a.com/2.html ... a.com/1000.html 要屏蔽以8开头的html页面，robots.txt Disallow应该怎么写？ ……
1338
浏览
我有一个用的得得 cms 做的网站，管理后台文件夹目录改为/OKQQ robots.txt文件禁 CMS Robots
我有一个用的得得 cms 做的网站，管理后台文件夹目录改为/okqq，在 robots.txt文件里设置User-agent: * Disallow: /ok*为了防止后台目录泄露，文件夹目录名称后面用的*号，这样设置对吗？可以阻止搜索引擎……
1337
浏览
大佬们，为什么写了robots还是不能禁止蜘蛛抓取？ Robots
网站100个页面生成200多个链接。一半多都是重复的。我要怎么才能禁止蜘蛛抓取重复的？我想把重复链接写到robots里面，但是写了蜘蛛照样来抓，大佬们，这个robots应该怎么写才行啊？……
1336
浏览
robots，写在首页不是不怎么安全吗？ Robots 导出链接
robots，写在文件夹文件有效果吗？我感觉这个更像是导出链接，怎么办？
1336
浏览
请问TYPCHEO搭建的网站百度不收录嘛？ Robots 网站备案 备案 文章
我的网站网址：https://cc7v.cc好几天了，百度连个首页都不收录，甚至搜啥都搜不到，我的网站主要就是做关于PS一些内容的，展赛征集啥的，内容肯定不可能全部原创，但是不收录也太难受了吧，难道是没有SEO插件的原因吗？那个robots……
1335
浏览
我这Robots.txt写的应该是没有问题的，为何百度快照却抓取不到？ Robots 百度快照
<p>网站（www.goldenll.com）的Robots.txt没有禁止首页的抓取，为什么百度却抓不到？内页也一直没有收录。</p><p><br></p><p>&l……
1335
浏览
网站在搜狗站长工具提交了，快两个月了 连首页都没收录。 Robots 站长工具 搜狗
每天搜狗蜘蛛来爬 只爬 robots.txt 然后状态码是 400，用各种工具验证过都是200状态，请问有大佬遇到过这个情况的吗？……
1332
浏览
sitemap地图如何放入robots.txt中？ Robots Site
sitemap地图如何放入robots.txt中？
1332
浏览
被robots屏蔽的网页如果获取了外链会获取权重？ Robots
被robots屏蔽的网页如果获取了外链会获取权重？
1332
浏览
这里两条meta是什么意思？？？ Robots
<meta name='robots' content='max-image-preview:large' /><meta name='robots' content='max-image-preview:large, i……
1331
浏览
搜狗搜索站长平台网站验证出现“网站无法访问，请检查湾站配置”是什么情况啊，有哪位大神知道如何解决 Robots 搜狗 站长平台 网站验证
<p><br></p><p>网站的robots是正常的，也没有ip白名单</p>
1330
浏览
请问这种情况该如何设置robots文件？ Robots Nofollow 5118
这个网站，比如 http://www.qiuxue88.com/pages_13/是关于我们栏目，但是还存在另外一个url多了一个问号www.qiuxue88.com/?pages_13/也就是 www.qiuxue88.com/page……
1330
浏览
1329
浏览
1326
浏览
sogou 蜘蛛 robots.txt 400状态码，自测正常，百度抓取也正常都是200状态 Robots
<p><br></p>
1323
浏览
为什么我的网站在百度上之前还能搜索到，现在却搜索不到了？ Robots 老域名 阿里云
请大神帮我看看：我的网站一直更新内容、做维护，前几天还能在百度搜索到，最近百度搜索不到了。我自己在百度上也查找了一下可能的原因，排除了一些因素：比如使用的域名是被百度惩罚过的老域名，我的域名yanxuan123。Com没有这种情况；服务器不……
1321
浏览
网站的robots文件已经解除屏蔽两个月了，但是搜索展现的还是以下，期间一直反馈都没用 Robots
<p>网站的robots文件已经解除屏蔽两个月了，但是搜索展现的还是以下，期间一直反馈都没用，百度也不给处理，请问有什么办法呀？领导催的紧！！<br></p><p><br><……
1319
浏览
网站用了robots.txt，禁止所有搜索引擎访问网站，之前是有效的，但今天看到site Robots Site APP
但今天看到site:app.lzdxedu.com有结果，robots.txt内容没变，出什么问题了？一下是robots.txt地址https://app.lzdxedu.com/robots.txt……
1318
浏览
当百度site第一个出现首页的index该怎么解决？ Robots Site
1、有什么办法可以更好的解决？2、不解决会有什么影响？3、使用robots的方法会不会有影响？……
1312
浏览
meta robots标签中 NOFOLLOW是告诉搜索引擎不要跟踪本页面上的链接，对吗？ Robots Nofollow
meta robots标签中 NOFOLLOW是告诉搜索引擎不要跟踪本页面上的链接，对吗？
1310
浏览
robots.txt文件 里可以有空行吗？ Robots
robots.txt文件 里可以有空行吗？比如：Disallow: /plus和 Disallow: /data中间隔了几行User-agent: * Disallow: /plus Disallow: /data……
