1217
浏览
网站在搜狗站长工具提交了，快两个月了 连首页都没收录。 Robots 站长工具 搜狗
每天搜狗蜘蛛来爬 只爬 robots.txt 然后状态码是 400，用各种工具验证过都是200状态，请问有大佬遇到过这个情况的吗？……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1216
浏览
sitemap地图如何放入robots.txt中？ Robots Site
sitemap地图如何放入robots.txt中？
1216
浏览
sogou 蜘蛛 robots.txt 400状态码，自测正常，百度抓取也正常都是200状态 Robots
<p><br></p>
1214
浏览
大佬们，为什么写了robots还是不能禁止蜘蛛抓取？ Robots
网站100个页面生成200多个链接。一半多都是重复的。我要怎么才能禁止蜘蛛抓取重复的？我想把重复链接写到robots里面，但是写了蜘蛛照样来抓，大佬们，这个robots应该怎么写才行啊？……
1214
浏览
网站诊断抓取异常，robots显示连接异常 Robots 搜狗 站长平台 网站诊断
<p>都是在一个服务器上的网站，都出现了这样的情况。不光百度，搜狗也是，站长平台显示无法连接，问了服务器商，说服务器没问题。网站也确实能打开，现在不知道是什么原因了，求解。</p><p><br>……
1212
浏览
今天面试了一个5年经验的SEO Robots 聚合 仿站 黑帽
天面试了一个5年经验的SEO，发现做SEO普遍都是从其他不相关的行业转过来的，他是在某个培训机构培训了4个月出来工作的，在培训的时候做过几个网站，然后就出来工作了，出来后自己就没有单独做过网站了，只是有5年的工作经验。他的工作内容基本上是分……
1210
浏览
兄弟们请教下如何屏蔽一艘，Ahrefs，微软蜘蛛，设置了robots依旧无效。 Robots
<p>兄弟们，有知道怎么屏蔽一艘，ahrefs，微软这些蜘蛛的吗？我设置了robots文件，依旧没用，这些蜘蛛会占用我的CPU，请教下各位大神有其他办法屏蔽吗？</p><p><br><b……
1210
浏览
有没有大佬愿意给新手SEO指点一下方向啊 Robots
有没有大佬愿意给新手SEO指点一下方向啊除了每天写下原创文章 和搜外带下外链 找人换下友链 还有其他的方法没 感觉好迷茫 没方向http://www.deepcareclinic.com/ 首页收录居然掉了 一开始没开robo……
1208
浏览
提示：在静态页面上使用动态参数，会造成spider多次和重复抓取，怎么处理？ Robots 优化建议
这个网站，www.nbjingdu.com 优化建议里面提示在静态页面上使用动态参数，会造成spider多次和重复抓取，我把提示的这几条网址写在robots文件里面禁止抓取有用吗？……
1207
浏览
这里两条meta是什么意思？？？ Robots
<meta name='robots' content='max-image-preview:large' /><meta name='robots' content='max-image-preview:large, i……
1206
浏览
网站没有robots文件有没有什么影响？ Robots
网站没有robots文件有没有什么影响？
1206
浏览
1205
浏览
网站robots协议中没有Allow的话是正常的吗？ Robots
<p><br></p><p>www.xasjf.net/</p><p>这个网站查robots是这样显示的，请大家看看正常吗？其他网站查的话都是带<span>……
1204
浏览
1202
浏览
搜索引擎抓a目录以及a目录下面的所有内容 该怎么写？ Robots
robots里/a/ 和/a 有什么区别？
1202
浏览
这是一个关于robots的问题。请大神帮忙看看。 Robots
<p><br></p><p>一开始做网站的时候把所有的蜘蛛都屏蔽了，网站做完后我就修改了robots，如第二个图。改完之后得有四五天才收录，收录却显示robots文件限制抓取。这种情该如何处理……
1200
浏览
百度蜘蛛大大流氓啊，都写了robots了怎么还天天抓这些。。。。。。。。 Robots 百度蜘蛛
<p><br></p>
1194
浏览
Robots问题？这样写有没有问题？【听说标题长的问题回答的人就特别的多？？】 CMS Robots JS
<p>帝国的CMS默认的Robots</p><p><br></p><p><br></p><p>但是我看了一下，网站的源码，CSS和一……
1193
浏览
为什么谷歌蜘蛛那么多？都200W多了，有有效的屏蔽谷歌蜘蛛的方法吗？ Robots 站群
<p>用的是 蚪侠镜像站群，放了50个域名，收录挺多的，就是谷歌蜘蛛N多 每日最多的时候可达500W多的量，服务器吃不消了，robots.txt屏蔽谷歌蜘蛛的方法不管用，求教有谁知道其他的屏蔽方法，谢谢！</p>……
1193
浏览
为啥百度蜘蛛只抓取CSS文件？ Robots 百度蜘蛛
百度蜘蛛很少抓取文章，而是大量抓取CSS文件，这个我在ROBOTS写入了经禁止抓取，会有影响吗？……
1193
浏览
搜狗搜索站长平台网站验证出现“网站无法访问，请检查湾站配置”是什么情况啊，有哪位大神知道如何解决 Robots 搜狗 站长平台 网站验证
<p><br></p><p>网站的robots是正常的，也没有ip白名单</p>
1190
浏览
请问TYPCHEO搭建的网站百度不收录嘛？ Robots 网站备案 备案 文章
我的网站网址：https://cc7v.cc好几天了，百度连个首页都不收录，甚至搜啥都搜不到，我的网站主要就是做关于PS一些内容的，展赛征集啥的，内容肯定不可能全部原创，但是不收录也太难受了吧，难道是没有SEO插件的原因吗？那个robots……
1188
浏览
1188
浏览
百度近期算法调整，“未能抓取成功”不收录怎么办？ 软文 Robots 站群 CDN
毫无疑问，自熊掌号上线以来，百度算法我们几乎认为每天都在调整，从“号”变“ID”虽然，战略层面的因素更多，但相关的搜索权益也在悄然变更。从目前来看，对于网站运营人员而言，如果你配置了熊掌ID，那么，近期，我们面临最多的一件事情就是：“未能抓……
1185
浏览
robots.txt协议问题？ Robots
Disallow: /adminDisallow: /images与Disallow: /admin/Disallow: /images/有区别吗？
1185
浏览
1185
浏览
robots，写在首页不是不怎么安全吗？ Robots 导出链接
robots，写在文件夹文件有效果吗？我感觉这个更像是导出链接，怎么办？
1184
浏览
你们的robots文件都是自己写的吗？大神能给介绍一下吗 Robots
<p><br></p>
1183
浏览
wordpress短链接相关问题 Robots 伪静态 排名 静态
最近我发现网站收录了很多短链接：www.***。Com/?p=123,并且在收录的过程中也会收录www.***。Com/123.html。双收录对seo不好，所有想把这个短链接用robots文件屏蔽了，但问题是短链接很多排名都很高，比伪静态……
1183
浏览
robots.txt 文件如何禁止搜索引擎访问某个子目录下某个页面之外的其他所有页面？ Robots
robots.txt 文件如何禁止搜索引擎访问某个子目录下某个页面之外的其他所有页面？
1182
浏览
网页被robots了，为什么还会被百度收录 Robots 百度收录
网页被robots了，为什么还会被百度收录
1182
浏览
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？ Robots 百度收录
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
1182
浏览
百度站长工具查询优化建议，显示robots.txt规范搜索引擎蜘蛛只抓取指定的内容，显示不存在，这是什么情况啊 Robots 站长工具
百度站长工具查询优化建议，显示robots.txt规范搜索引擎蜘蛛只抓取指定的内容，显示不存在，这是什么情况啊……
1182
浏览
站内站seo设置问题 Robots Site Sitemap 404
站内站需要从新设置404、sitemap robots 吗？
1176
浏览
求各位帮忙分析一下，7个月了，网站一直不收录内页，目前只有首页收录 推荐热议 Robots 索引
<p>1、网站索引目前43，但是也是差不多一两个月没有增长了，这43个索引都是最近两个月突然有一天冒出来的，然后差不多一个星期就有43，但是后续就基本上没有增加过了</p><p><br><……
1173
浏览
1170
浏览
今天用百度站长工具测试一下robots出现问题了，大家会不会这样还是只有我这样？ Robots 站长工具 百度站长工具
<p><br></p>
1170
浏览
1167
浏览
我这Robots.txt写的应该是没有问题的，为何百度快照却抓取不到？ Robots 百度快照
<p>网站（www.goldenll.com）的Robots.txt没有禁止首页的抓取，为什么百度却抓不到？内页也一直没有收录。</p><p><br></p><p>&l……
