828
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
827
浏览
关于采集内容，这样的处理方式。大家觉得是否可行呢？ Robots 搜索结果 文章
所有采集页不传递权重，robots屏蔽，采集大概几十万篇文章后像制作专题一样的 生成搜索结果的html页面？这样的话内容相当于是很多段描述拼凑在一起的 内容应该非常原创了吧。。。实验过一次，不这样的话采集页面对于垃圾站也来不了什么流量吧。。……
827
浏览
关于robots的骚操作带来一个血的教训！ Robots
前几日发现很多国外的垃圾蜘蛛，还有bing msn等等这些蜘蛛来我网站特别的多，所以就想着把垃圾蜘蛛给屏蔽掉，User-agent：AhrefsbotDisallow: /但他娘的一时不慎，把这行复制在了robots文件的最后面，放上去后忘……
824
浏览
在robots里屏蔽字体文件有影响吗 Robots
想屏蔽掉网站的字体文件抓取，对网站有影响吗
824
浏览
大家帮我分一下这个Robots文件有没有问题 Robots
<p>大家帮我分一下这个Robots文件有没有问题，www.mdyx.com</p><p></p>
823
浏览
怎么回事啊？网站老域名重新改版后1个月只收录首页（百度、360都不收录） Robots 老域名 文章
9月份的时候打算建立一个网站，看了看手里的域名，有一个15年的老域名，因为网站主题和域名相匹配就拿过来用了。9月5号网站重新改版上线了，网站服务器放在linode日本服务器，网站地图、robots.txt、关键词、导航之类都已经建立完善。每……
822
浏览
新站删除robots文件一直不更新 Robots
www.qhtycs.com 这个新站加了robots然后两个月前删除这个文件，至今一直未更新，一直是禁止状态。要不要加一个允许的robots呢……
821
浏览
819
浏览
robots怎么写？ Robots
robots不写可以吗？还有就是robots里能添加网站地图吗？
819
浏览
robots文件已经更新一个月了，新禁止的文件还在抓取状态？ Robots
为什么我网站上的robots文件已经更新一个月了，新禁止的文件还在抓取状态？
819
浏览
怎么禁止网站上另一个内容相同的页面被收录？ Robots 内容相同 静态
我司网站每生成一个动态页面就有个对应的内容相同的静态页面。www.chinamcloud.com/ → web.chinamcloud.com/lhytdst/例如www改成web，后面再加个/lhytdst/，就有个一样的页面了。但我不希……
816
浏览
robots文件写错了修改后，多久能恢复 Robots
我的网站上线四个月了收录还是很低，原来是部分栏目禁止抓取，后面发现robots文件写错了现在修改后会恢复抓取收录吗www.mixmt.cn……
815
浏览
Robots文本应不应该屏蔽蜘蛛对全站搜索框的搜索？ Robots
<p><br></p>
814
浏览
中小企业新网站该如何优化？ Robots 黑客 404 索引
中小企业通过网站SEO可以获取更多客户，优化自己企业的网站，可以有效帮助获得客户。今天为您介绍企业新站如何优化。一、新站做SEO优化一直不收录的原因1.新网站的服务器/空间不稳定，有时无法打开该站点，使蜘蛛难以抓取。2.网站内容包含违法信息……
813
浏览
网站改版后是否会掉排名呢？ Robots 404 排名
其实网站改版和掉排名并没有必然的关系，在不更改域名的情况下，对网站版面重新设计排版，增加用户体验度。伴随改版而来的网站链接的变更，下面云客多小编介绍下需要重点考虑的问题。 一、网站日志分析 网站在改版后，需要每天关注新网站的动态……
813
浏览
813
浏览
蜘蛛一直抓取api链接 Robots
Robots屏蔽没有用还是抓取,查了ip段是百度的,哪位大神了解的
812
浏览
网站从4与26号开始索引，一直没有变化，是正常的吧，我就怕是在robots加不爬*？*加的 Robots 索引量 索引
<p>之前在网上，搜到好多人加这个，结果导致网站不收录的</p><p>网站:www.chlbh.cn</p><p>怕自己网站也遇到这种情况，毕竟之前，索引量变化还是挺频繁的<……
812
浏览
网站屏蔽动态url，robots文件中已经写了，是否还需要nofollow？ Robots Nofollow
比如我在robots.txt 上写了 Disallow: /*?* 那我还需要 在带？号的链接上带上Nofollow吗？？？另外robots.txt Nofollow 是一样的用意吗？ 是重复了 还是没重复？？……
811
浏览
809
浏览
网站改版老站点301到新站点，新老站点都存在独立robots文件 Robots 网站改版
网站改版老站点301到新站点，新老站点都存在独立robots文件，在这种情况下百度是先判断robots权限在先还是先根据301规则在先？……
807
浏览
大量死链如何处理最好? Robots 404 排名 文章
网站需要删除几个栏目，删除后估计有几十万死链，怎么处理不影响新文章收录和其他栏目页面排名。 1.百度死链工具经过测试不靠谱，提交一个月后还是天天抓死链。此路不通 2.robots屏蔽经过测试也不行，只是蜘蛛不再抓取已删除栏目，但是收录的快照……
806
浏览
搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？ Robots 搜狗
搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？
805
浏览
百度站长平台robots检测不了，这是怎么回事呢？ Robots 站长平台
<p>百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500<br></p><p></p>……
805
浏览
网站屏蔽动态url，robots文件中已经写了，是否还需要nofollow？？ Robots Nofollow
网站屏蔽动态url，robots文件中已经写了，是否还需要nofollow？？
805
浏览
网站建站已经马上三个月了，索引量2，收录就一个首页 Robots 文章 索引
<p>网站建站已经马上三个月了，索引量2，收录就一个首页<br><br>实在不知道为什么？robots设置的全部抓取，抓取诊断偶尔说抓取失败，原因百度显示为：抓取异常信息：其他错误，重新再测又显示可以了正……
804
浏览
网站用robots屏蔽了所有蜘蛛，但是没有生效，怎么回事？ Robots
网站用robots屏蔽了所有蜘蛛，但是没有生效，怎么回事？
802
浏览
网站url动态改版为静态形式，怎么处理，尽量减少影响？ Robots 伪静态 静态
一个站之前一年用的是动态路径，现在想换成静态路径，我要设置好了伪静态就robots屏蔽呢，还是等收录了一些静态页面在屏蔽呢？……
802
浏览
大佬们帮忙看下网站有没有robots？怎么看的？ Robots
https://www.guojupijiu.com/
799
浏览
网站用robots屏蔽了所有蜘蛛，但是还是没变化 Robots
User-agent: *Disallow: /这个应该没错啊
799
浏览
DZ论坛设置伪静态了需要robots禁止抓取动态链接吗？ Robots 静态
DZ论坛设置伪静态了需要robots禁止抓取动态链接吗？我看还有在抓动态链接的，会不会双收录Disallow: /*?*这样对吧？……
798
浏览
想要做好网站SEO不是件容易的事 软文 Robots 404 排名
seo是一门技术活，如果自身是零基础，那么这个工作就是相当困难的，另外，我们要对难易进行一个区分，seo入门是简单的，做好seo则是一个相当困难的事情。和我们读初中时候的学习情境一模一样，同样的老师，同样的课程，同样的学习时间，一个班级只有……
797
浏览
robots是不是不能设置限制抓取的指令？ Robots 网站改版
<p>网站改版的时候把<span>robots设置限制抓取的指令，本来是想改版完成后再取消，结果取消个多月了，百度还是不来抓取，怎么办？</span></p><p></p&g……
797
浏览
795
浏览
日志大量ip不像正常蜘蛛ip，而且有很多已屏蔽的后台文件被抓取是怎么回事呢@推推蛙 Robots
<p>查看日志情况，发现在robots文件屏蔽的目录还是被抓取，而且统计ip段数量，感觉不像正常的蜘蛛，是怎么回事呢<br></p>……
