743
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
743
浏览
742
浏览
帮我看下 我这个网站的robots文件有什么问题没有 Robots
<p><br></p>
740
浏览
常见元标签有哪些 应该怎么设置标签呢？ Robots
元标签在做网站的实操中真正用到的没有几个，但自从SEO行业兴起之后，各类被冷落的标签又重新运用起来了，如某些时候 robots.txt文件不能解决一些特殊的环境，而是采用页面内的 robots标签来引导蜘蛛的走向。https://www.s……
737
浏览
网站之前上传了robots 百度站长平台也可以检测到但是网站关停了一段时间之后 Robots 站长平台
在解析到之前的服务器上，在检测都显示“服务器配置错误 403” 这个是什么情况
736
浏览
在百度站长平台上检测robots文件的时候出现的，这个应该怎么弄呢 Robots 站长平台
<p></p><p>在百度站长平台上检测robots文件的时候出现的，这个应该怎么弄呢</p>……
736
浏览
谁帮我分析下这个robots文件设置的有问题吗？ Robots 索引
<p></p><p>我的这个robots文件设置的有问题吗？蜘蛛一直不来抓取，语句没有禁止搜索引擎抓取吧？</p>……
736
浏览
网站上线20多天了 抓取诊断一直失败 Robots 备案
已经排查过了没有屏蔽蜘蛛，robots也是允许抓取的，5.1号上线的抓取诊断就显示失败，点击了报错，提示几分钟就更新好，但是过了8天还是一直抓取失败，所以在平台反馈，反馈在12号回复说转相关工作人员分析处理，这又过了10天了，继续追问反馈 ……
736
浏览
735
浏览
请问网站有百万级的url，应该然后制作sitemap提交？ Robots Site Sitemap
①是该做个Sitemap.xml中包含其它Sitemap(Sitemap1.xml，Sitemap2.xml，Sitemap3.xml.....);只把Sitemap.xml放进robots?②还是分别把Sitemap1.xml，Sitem……
734
浏览
百度站长Robots检测好像没有用啊 Robots
<p><br></p><p><br></p><p>一直显示请求出错，请稍后重试</p>
733
浏览
请教下ROBOTS的问题 Robots
<p>刚刚更新了一下robots 加了 Disallow: /product/e23</p><p><br></p><p><br></p>&……
731
浏览
网站的robots文件该放哪种类型的地图？ Robots
把xml版本的和html版本的都放在robots文件合适吗？一般是只放xml版本的吗？
731
浏览
百度蜘蛛只抓取robots文件就不抓取其他页面时为什么 Robots 百度蜘蛛
www.mixmt.cn
730
浏览
没被抓取过和收录的页面改动会有影响吗 Robots
robots禁止抓取的页面，没被抓取过和没被收录的页面改动，改版会有影响吗 https://www.darwintel.com/……
729
浏览
网站做了伪静态之后屏蔽动态链接会不会对收录有影响？ Robots 伪静态 静态
各位请问我网站做了伪静态了，那我现在robots里屏蔽抓取动态链接会不会导致网站不收录？还有像如果要屏蔽/spread/detail?id%E3%80%9372这种连接的robots是这样写吗？User-agent: baiduspider……
727
浏览
网站关键词排名优化的几个阶段 Robots 搜狗 竞价 排名
SEO关键词优化能让网站在搜索引擎上有更好的排名。让更多的用户都能快速的查找到自己的网站关键词。为了让更多的人了解详情，下文浅析关键词SEO优化的三个阶段。第一阶段：网站分析阶段我们要学会总结和分析，分析文章不收录的原因，分析网站外链无效的……
726
浏览
Robots文件这样设置没什么问题吧 Robots
<p></p>
723
浏览
robots文件禁止抓取，解禁后多久可以恢复抓取？ Robots
robots文件禁止抓取，解禁后多久可以恢复抓取？
723
浏览
css js大家在robots屏蔽了吗？有必要吗？ Robots JS
因为每天爬都有爬css和js这些 看有种说法说是会浪费蜘蛛，那要不要屏蔽呢？有意思吗？
723
浏览
网站改版，出现大量的死链，已经影响到网站的质量，该如何快速有效的处理大量死链 Robots 网站改版
目前每天都在站长后台提交，感觉效果微乎其微。在robots文件里面，disallow所有的死链能解决不……
722
浏览
720
浏览
网站大量页面删除，已经使用robots.txt文件屏蔽，还需要提交死链接吗？ Robots 死链接 文章
网站内容更换，删除大量文章页面使用robots屏蔽共同栏目页，这些页面还需要去资源平台提交死链吗？……
720
浏览
今天看了日志，有几个问题请教一下搜外大神，路过的大神指点指点迷津吧！ Robots 友链
www.wsf1234.com非图片站的蜘蛛抓取图片频率过高，该不该改善这个问题？应该改善又该如何改善？需要在robots协议上做什么调整？蜘蛛抓取后真实访问率46%算什么水平，过高或过低？，除了布局更优质的外链和友链，还有什么优化手法？目……
719
浏览
手机端适配的是后台二级目录，内容质量为伪原创但是收录挺好，可为什么都是无排名？ Robots 伪原创 排名
<p>主要的还是一级目录不收录，反而二级目录的收录好，这与robots不相关吧！</p><p><br></p>……
719
浏览
robots已经在百度验证过了，为什么3-4天了网站还是显示存在限制指令？ Robots 网站建设
<p>江苏安邦云昇智能科技有限公司 <a href="http://www.anbangyun.cn/" target="_blank" data-url="www.……
719
浏览
网站设置了robots禁止抓取，为什么排名还是那么好呢？ Robots 排名
<p></p>
718
浏览
老站半个月蜘蛛疯狂爬，新站隔天就收录了。 Robots 排名
真是见了个鬼了，新站隔了一天就收录了。没有做过外链，才刚上传，百度居然收录了，还有排名，真是。。。。。上面内容都还没做。忘记用ROBOTS屏蔽了。……
717
浏览
百度Robots检测失败 Robots
这个检测失败，然后抓取是正常的，另外在其它网站Robots这里检测也是正常。检测失败提示：您的服务器配置有误百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500……
716
浏览
Robots文件是网站模板自带的吗？ Robots 网站模板
Robots文件是网站www.ertongzl.com模板自带的吗？
716
浏览
为什么robots解除封禁了，蜘蛛还是抓取失败？ Robots
<p></p>
715
浏览
日志猛增301，很多类似这样，你们有碰到这样的情况吗，这是怎么回事 Robots 竞价
<p><br><br></p><p>还有robots文件也是很多都出现301，之前都没有这种请</p><p>竞价的页面，网站图片，一天有300多条301&l……
712
浏览
翻页的url有必要静态化吗？ Robots 静态
网站很多内容，都有分页目前都是动态url，不过robots已经禁止抓取动态url，有必要静态化吗，cddgg.com静态化的好处是什么？不会产生很多相似页面的情况吗。……
711
浏览
昨晚robots允许抓取，第二天早上改了下标题，有影响吗？ Robots
昨晚robots允许抓取，第二天早上改了下标题，有影响吗？
711
浏览
网站被挂马，重新做的新站，但是老站的乱码收录一直在，写了一个Robots禁止一下，不知道能不能起作用 Robots 网站被挂马 乱码
<p><br></p><p># robots.txt generated at https://www.hyhrc.com/ <br>User-agent: *<br>……
709
浏览
网站地图优化有什么用处？ Robots 排名 文章 索引
网站地图，又称站点地图，它就是一个页面，上面放置了网站上所有页面的链接。大多数人在网站上找不到自己所需要的信息时，可能会将网站地图作为一种补救措施。搜索引擎蜘蛛非常喜欢网站地图，【知心网堂】小编整理发布。接下来通过这篇文章为你具体介绍网站地……
702
浏览
关于网站分页链接的处理，大家一般是怎么解决？ Robots
比如网站域名/page/2 分页我觉得无意义,那么我用robots屏蔽带page的页面,那么我之前的收录的page对网站有什么影响,而且这些页面是不能删除的,只是以后更新的page页面不在抓取.请各位大神指教!……
