578
浏览
网站上线20多天了 抓取诊断一直失败 Robots 备案
已经排查过了没有屏蔽蜘蛛，robots也是允许抓取的，5.1号上线的抓取诊断就显示失败，点击了报错，提示几分钟就更新好，但是过了8天还是一直抓取失败，所以在平台反馈，反馈在12号回复说转相关工作人员分析处理，这又过了10天了，继续追问反馈 ……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
612
浏览
关于robots的骚操作带来一个血的教训！ Robots
前几日发现很多国外的垃圾蜘蛛，还有bing msn等等这些蜘蛛来我网站特别的多，所以就想着把垃圾蜘蛛给屏蔽掉，User-agent：AhrefsbotDisallow: /但他娘的一时不慎，把这行复制在了robots文件的最后面，放上去后忘……
516
浏览
抓取的时候一直提示robots封禁怎么办？ Robots 百度蜘蛛
网站robots.txt文件已经删除里面所有的内容，现在是一个空文件。站长后台 robots检测更新 都是没有问题，校验网址是否被阻止 是允许。反馈中心也反馈了，也不给回复。我该怎么办？来个官方的帮忙处理一下吧。（补充一下，网站新搭建的时候……
1307
浏览
提一个百度收录很理想而搜狗收录和索引均少的问题 诚心等解答 推荐热议 Robots 搜狗 文章
<p>提一个百度收录很理想而搜狗收录和索引均少的问题。</p><p>我们是企业官网，属于建材行业的陶瓷砖企业，网站名称是“玛布里瓷砖”，建设到现在超6年，一直以来所有搜索引擎的收录、索引数据都挺好看的，但……
1165
浏览
老站蜘蛛从来不爬去内页,求大神帮看robots是否设置有误？ CMS Robots 备案
<p>易优的CMS，老域名建的站且已经一年半了，首页蜘蛛每天来很多次，百度收录了三四百条（首页及栏目页面），移动权重2，但蜘蛛日志显示百度蜘蛛从不爬取内页，首页来的多，会爬栏目页面，但内页不爬去也不收录。未备案。</p&g……
453
浏览
这个也没有输入错误，难道是没更新 Robots
<p></p>
435
浏览
大家帮我看看我的robots.txt有没有问题 Robots Site Sitemap
大家帮我看看我的robots.txt有没有问题User-agent: *Disallow:Sitemap: https://www.sclmbh.com/sitemaps.txtUser-agent: MJ12botDisallow: /……
443
浏览
网站robots.txt一般禁止蜘蛛抓取哪些内容 Robots JS
正常的网站robots.txt你们一般禁止蜘蛛抓取哪些内容，js、css还有补充的吗
840
浏览
网站建二级域名与主域名指向同一个程序，主域名会被分掉权重吗 Robots 二级域名 竞价
如题，为了区分竞价来的线索和自然流量线索，我想将网站建一个二级域名，新建的二级域名与主域名都指向同一个网站，然后在robots中设置disallow禁止蜘蛛抓取这个二级域名，这个新建出来的二级域名会影响主域名的权重吗？……
572
浏览
百度统计检测不到robots是怎么回事 Robots 百度统计 阿里云
我们网站现在服务器搬到阿里云上了 这两天抓取时间都变成了0，后来打开robots也没问题，统计后台缺检测不到服务器是嘛情况……
1232
浏览
您的robots文件设置了重定向跳转，暂时无法查看 Robots 跳转
更新robots时，出现这个问题，但是我在网站上打开对应的robots，却能够打开，没毛病，检测http状态，返回的也是200，……
495
浏览
网站参数空白页面总是被蜘蛛抓取怎么办 Robots PHP
<p>网站参数空白页面总是被蜘蛛抓取，也写了robots了，但还是有蜘蛛挺多抓取这些空白参数页面（返回码200）好像当成了首页（也可能是假蜘蛛），怎么解决？</p><p>/index.php?m=Home……
530
浏览
网站管理后台路径要不要写进robots.txt？ Robots
网站后台路径要不要写进robots.txt？不写进去，搜索乱爬，写进去，等于公之于众。
1961
浏览
百度站长自动推送如同摆设（有偿寻解决方法） Robots 网站日志 百度蜘蛛
每天不停给百度主动推送链接，可网站日志一直没有百度蜘蛛的爬行记录，网站robots并没屏蔽百度，网上找搜索答案都是什么质量低，不想怼这些人，连蜘蛛的爬行数据都没，何来质量低；有没有哪位兄台能解决这个问题。……
534
浏览
请教下ROBOTS的问题 Robots
<p>刚刚更新了一下robots 加了 Disallow: /product/e23</p><p><br></p><p><br></p>&……
671
浏览
如何屏蔽已经收录的页面 Robots
想在robots里面屏蔽 plug/comment/?id=59 plug/comment/?id=80 plug/comment/?id=81 这种类似的页面怎么写规则……
648
浏览
独立移动端网站有必要设置robots吗 Robots 移动端
pc是www.的 ，移动端是m.的,请问m站有必要弄robots文件吗？
449
浏览
水务集团的官方网站，突然就掉了，而且还做了官方认证的。@推推娃 Robots
http://www.cncqsw.com/看着像robots的问题，
620
浏览
网站屏蔽url，只能用robots文件么？ Robots
有没有其他的方法不允许蜘蛛抓取我的一些url?
696
浏览
如何禁止搜索引擎访问/收录某个页面 Robots Nofollow 索引
网站有几个页面由于重复度太高不想让搜索引擎收录和访问，有什么有效的办法，除了robots和nofollow，还有其他好的办法吗……
538
浏览
robots.txt是这个问题导致不收录的吗？ Robots
robots.txt是这个问题导致不收录的吗？@推推蛙 你帮我看看这个休学申请书怎么写www.1xiuxue.com已经一年没有收录了，帮我看看是否是robots.txt写错了？……
666
浏览
关于robots的骚操作带来一个血的教训 Robots 百度知道
前几日发现很多国外的垃圾蜘蛛，还有bing msn等等这些蜘蛛来我网站特别的多，所以就想着把垃圾蜘蛛给屏蔽掉，User-agent：AhrefsbotDisallow: /但他娘的一时不慎，把这行复制在了robots文件的最后面，放上去后忘……
639
浏览
439
浏览
509
浏览
518
浏览
765
浏览
死链提交失败，找不到原因，求大神指点一下 Robots Site Sitemap 根目录
<p><br><br><br></p><p>是放在根目录下，跟robots，sitemap同一级</p>
478
浏览
大佬帮忙看看，网站的robots文件，是不是有错误？ Robots
如题，总感觉网站robots文件抒写不对www.lanjingcs.com
1311
浏览
494
浏览
网站改版做的robots禁止收录 收录掉光取消后什么时候能恢复啊 Robots 网站改版
www.vpanetwork.com 网站改版做的robotos全站禁止收录，收录一直掉现在取消了请问什么时候可以恢复啊……
461
浏览
robots文件屏蔽一些页面抓取怎么写？ Robots 百度蜘蛛
https://www.fanyuancloud.com/articles/189https://www.fanyuancloud.com/articles/190https://www.fanyuancloud.com/articles/……
829
浏览
784
浏览
524
浏览
网站地图的txt格式放robots里有用吗？ Robots
网站地图的txt格式放robots里有用吗？
847
浏览
查看网站的robots文件显示404是怎么回事~应该怎么处理 Robots 404
查看网站的robots文件显示404是怎么回事~应该怎么处理
539
浏览
为什么robots解除封禁了，蜘蛛还是抓取失败？ Robots
<p></p>
436
浏览
网站后台文件需要限制蜘蛛抓取吗 Robots
每天查看日志发现抓取了很多后台文件，有的文件还是死链 需要限制吗？有的文件也添加到robots文件里的，但还是能抓取是什么缘故呢？……
