599
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
599
浏览
sitemap.xml抓取失败，怎么解决，求帮助 Robots Site DNS
<p>其他的一切正常，robots 也没做什么限制，抓取测试pc和手机都是正常的，但是一直<span>就这个网站的sitemap.xml抓取失败，dns解析ip那里是我以前一个服务器，这个很早就没有用这ip了，这个情……
599
浏览
599
浏览
网站屏蔽动态url，robots文件中已经写了，是否还需要nofollow？？ Robots Nofollow
网站屏蔽动态url，robots文件中已经写了，是否还需要nofollow？？
599
浏览
网站死链的正确处理方法 Robots 404 排名 索引
在各位站长运营网站的过程中，一定会遇到死链的情况，那么大家都是怎么处理死链的呢？在SEO优化中，死链如何进行正确处理呢？1、收集死链前面所做的网站死链查检工作，都是为这一步做准备，那些网站死链要如何处理呢？通过网站死链检测工具（网页版在线检……
598
浏览
百度Robots检测失败 Robots
这个检测失败，然后抓取是正常的，另外在其它网站Robots这里检测也是正常。检测失败提示：您的服务器配置有误百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500……
597
浏览
robots.txt这样写多不对Disallow: Robots
robots.txt这样写多不对Disallow:
597
浏览
为什么robots中设置了禁止百度收录我网站的内容，为何还出现 Robots 百度收录
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
597
浏览
597
浏览
关于robots的骚操作带来一个血的教训！ Robots
前几日发现很多国外的垃圾蜘蛛，还有bing msn等等这些蜘蛛来我网站特别的多，所以就想着把垃圾蜘蛛给屏蔽掉，User-agent：AhrefsbotDisallow: /但他娘的一时不慎，把这行复制在了robots文件的最后面，放上去后忘……
596
浏览
css js大家在robots屏蔽了吗？有必要吗？ Robots JS
因为每天爬都有爬css和js这些 看有种说法说是会浪费蜘蛛，那要不要屏蔽呢？有意思吗？
594
浏览
大家帮忙分析下我的蜘蛛抓取日志文件 Robots 百度蜘蛛
<p>我的抓取频率一直很低，也不收录，一看日志文件，百度蜘蛛怎么都是抓取robots文件，代表我的robots文件写错了吗，求解答</p><p><br></p>……
593
浏览
网站被黑后，进行Robots屏蔽时链接是否要区分大小写？ Robots 网站被黑
网站被黑后,进行Robots屏蔽时链接是否要区分大小写？
593
浏览
大佬们帮忙看下网站有没有robots？怎么看的？ Robots
https://www.guojupijiu.com/
591
浏览
如何写一个合理的robots.txt文件 Robots
如何写一个合理的robots.txt文件
590
浏览
588
浏览
搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？ Robots 搜狗
搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？
588
浏览
网站屏蔽url，只能用robots文件么？ Robots
有没有其他的方法不允许蜘蛛抓取我的一些url?
587
浏览
咨询一下，robots这么写？有没有问题 Robots PHP JS
咨询一下路过的大神们，robots这么写？有没有问题？ 如果有，第几个需要修改？1，User-agent: *,2，Disallow: /*.css$,3，Disallow: /*.js$,4，Disallow: /*.php$,5，Dis……
583
浏览
各位我这样设置robots应该没有错的吧？ Robots
<p><br></p><p><br></p><p>星号就是垃圾符号。。</p>
581
浏览
请问网站有百万级的url，应该然后制作sitemap提交？ Robots Site Sitemap
①是该做个Sitemap.xml中包含其它Sitemap(Sitemap1.xml，Sitemap2.xml，Sitemap3.xml.....);只把Sitemap.xml放进robots?②还是分别把Sitemap1.xml，Sitem……
579
浏览
网站优化包括对什么优化 网站优化具体内容有哪些 Robots Nofollow 404 代码
网站优化包括什么内容 网站优化有什么作用1.站内优化 站内优化包括了代码标签的优化、网站内容的优化以及网站URL优化等,网站站内需要具有robots.txt文件、nofollow标签、404页面、301永久重定向、网站地图、图片alt说明……
578
浏览
各位大神，禁止蜘蛛抓取.php后缀，robots要如何屏蔽掉？ Robots PHP
各位大神，禁止蜘蛛抓取.php后缀，robots要如何屏蔽掉？例如以下这些/Bak/index.php/bakk/index.php/beifei/index.php/bakup/index.php/beifen/index.php……
577
浏览
DZ论坛设置伪静态了需要robots禁止抓取动态链接吗？ Robots 静态
DZ论坛设置伪静态了需要robots禁止抓取动态链接吗？我看还有在抓动态链接的，会不会双收录Disallow: /*?*这样对吧？……
576
浏览
robots已经在百度验证过了，为什么3-4天了网站还是显示存在限制指令？ Robots 网站建设
<p>江苏安邦云昇智能科技有限公司 <a href="http://www.anbangyun.cn/" target="_blank" data-url="www.……
576
浏览
576
浏览
网站建设中，禁止robots全站抓取一个月多会有影响吗 Robots 网站建设
网站还在建设中，禁止robots全站抓取一个月多会有影响吗User-agent: *Disallow: /
575
浏览
被加入robots做屏蔽的 栏目为啥还能有新的文章收录勒 Robots 文章
网站被挂马了，集中在一个栏目里面出来其他文章收录。然后把这个栏目加入robots文件做屏蔽，可是为啥这个栏目下还会有新的文章被收录？？？？是robots文件没起作用吗……
574
浏览
Sitemaph 和 Robots 都为0，这对优化的影响大不大？ Robots Site
Sitemaph 和 Robots 都为0，这对优化的影响大不大？
574
浏览
大神们，帮我看下这个robots文件有问题没 Robots
<p><br></p>
574
浏览
蜘蛛一直抓取api链接 Robots
Robots屏蔽没有用还是抓取,查了ip段是百度的,哪位大神了解的
573
浏览
网站大量页面删除，已经使用robots.txt文件屏蔽，还需要提交死链接吗？ Robots 死链接 文章
网站内容更换，删除大量文章页面使用robots屏蔽共同栏目页，这些页面还需要去资源平台提交死链吗？……
572
浏览
老站半个月蜘蛛疯狂爬，新站隔天就收录了。 Robots 排名
真是见了个鬼了，新站隔了一天就收录了。没有做过外链，才刚上传，百度居然收录了，还有排名，真是。。。。。上面内容都还没做。忘记用ROBOTS屏蔽了。……
572
浏览
robots.txt中可以屏蔽中文url吗？ 中文URL Robots
请问下各位，robots.txt，中如何屏蔽中文url，一个目录下，有英文url和中文url，xxx.com/xxx/吃饭/xxx.com/xxx/手机/xxx.com/xxx/abc/如何把其中的中文url在robots.txt中屏蔽呢？……
572
浏览
网站建站已经马上三个月了，索引量2，收录就一个首页 Robots 文章 索引
<p>网站建站已经马上三个月了，索引量2，收录就一个首页<br><br>实在不知道为什么？robots设置的全部抓取，抓取诊断偶尔说抓取失败，原因百度显示为：抓取异常信息：其他错误，重新再测又显示可以了正……
571
浏览
我现在site已经收录了，但是收录之后不显示描述， Robots Site
就显示robots限制，但是限制已经解除了
570
浏览
网站的robots文件该放哪种类型的地图？ Robots
把xml版本的和html版本的都放在robots文件合适吗？一般是只放xml版本的吗？
570
浏览
常见元标签有哪些 应该怎么设置标签呢？ Robots
元标签在做网站的实操中真正用到的没有几个，但自从SEO行业兴起之后，各类被冷落的标签又重新运用起来了，如某些时候 robots.txt文件不能解决一些特殊的环境，而是采用页面内的 robots标签来引导蜘蛛的走向。https://www.s……
