836
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
834
浏览
关于百度收录存在相同收录的问题。 Robots 百度收录 ajax PHP
<p><br><br></p><p>网站存在相同的收录，这个在程序中没法用301来实现，因为有AJAX的调整用路径也是那个，如果用301可能会出问题。</p><p……
834
浏览
robots的链接太多怎么办？ Robots
robots的链接太多，不能直接限制目录，要限制链接吗？robots文件内容过多，会影响百度抓取吗？……
834
浏览
如何屏蔽已经收录的页面 Robots
想在robots里面屏蔽 plug/comment/?id=59 plug/comment/?id=80 plug/comment/?id=81 这种类似的页面怎么写规则……
830
浏览
百度收录出现几千个首页，这样写robots可以吗？ Robots 百度收录
<pre>Disallow:http://www.szmaguan.com/?*</pre><p>这样写robots可以吗？</p><p><br></p>……
830
浏览
这个网站是黑帽吗？能不能换友情链接？ Robots Site PHP 黑帽
在滴滴友链看到的，site不到首页，robots文件看到这样一行，根据我浅薄的语义化理解 ，是友情链接的意思吗？Disallow: /plus/flink.phphttp://www.250seo.com/希望大神们，给分析一下。跪求了……
829
浏览
829
浏览
robots协议具体不让蜘蛛抓取哪些页面？ Robots
一般不让蜘蛛抓取哪些页面？求解答
828
浏览
关于robots的写法，对先后顺序有没有要求，如图 Robots 百度蜘蛛
<p>如只允许百度蜘蛛，禁止其他一切蜘蛛，这两种写法哪种是正确的呢？</p><p>1、先允许后禁止</p><p><br></p><p>2、先禁止……
827
浏览
我这样设置robots文本应该没有问题吧，蜘蛛日志上都显示抓取300多次了 Robots
<p></p><p></p>
827
浏览
网站收录的低质量页面，通过robots屏蔽是否可以？ 网站收录 Robots 404
之前收录的低质量页面，我在robots.txt中Disallow了一下，这个页面百度会自动删除吗？ 因为很多页面带参数的，后台删掉这个内容，这个页面还是存在的，只是内容为空了，不存在404这种情况，我只是在robots.txt中Disall……
826
浏览
wp 的Nofollow这个在哪里取消 Robots Nofollow
wp <meta name="Robots" content="index, Nofollow" /
823
浏览
如果新站做个网站地图 那么地图放首页好还是 每个页面都需要放地图呢 Robots
如果新站做个网站地图 那么地图放首页好还是 每个页面都需要放地图呢 地图上 需要放 robots 的吗https://www.xiaomeisp.com……
823
浏览
paper写作网站的robots文件怎么写？ Robots
在使用谷歌页面分析工具的时候显示我的paper写作网站有robots错误，我去查看文件才看到没有这个文件。想问问大家这个robots文件应该写哪些内容呢？……
822
浏览
麻烦帮我看一下我的robots.txt是否屏蔽了蜘蛛抓取内页内容 Robots Site Sitemap PHP
是利用WordPress搭建的：www.cznxb.comUser-agent: * Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow:……
822
浏览
蜘蛛一直抓取之前未改版前的链接，造成一大堆死链，要如何处理 数据库 Robots WordPress 代码
<p>网站改版快一年了，之前是用WordPress建站，后面代码给改了，是去年3月份改版的，到现在已经快一年了，从站点日志里面看到蜘蛛一直在抓取旧站链接，也有整理过一大堆死链提交了，也在robots里面禁止蜘蛛爬行，但是蜘蛛还是……
821
浏览
百度蜘蛛长时间不来网站怎么处理？ Robots 引蜘蛛 百度蜘蛛
我也检查了robots.txt没有任何问题，没有屏蔽蜘蛛怎么蜘蛛完全不来网站了，长时间未来网站特别担心，是什么原因为什么蜘蛛不来访问网站，一个星期一次蜘蛛的痕迹都没有，究竟怎么回事为什么蜘蛛不来了，有什么办法可以引蜘蛛？……
820
浏览
关于robots的骚操作带来一个血的教训 Robots 百度知道
前几日发现很多国外的垃圾蜘蛛，还有bing msn等等这些蜘蛛来我网站特别的多，所以就想着把垃圾蜘蛛给屏蔽掉，User-agent：AhrefsbotDisallow: /但他娘的一时不慎，把这行复制在了robots文件的最后面，放上去后忘……
819
浏览
sitemap.xml抓取失败，怎么解决，求帮助 Robots Site DNS
<p>其他的一切正常，robots 也没做什么限制，抓取测试pc和手机都是正常的，但是一直<span>就这个网站的sitemap.xml抓取失败，dns解析ip那里是我以前一个服务器，这个很早就没有用这ip了，这个情……
819
浏览
网站抓取诊断没有问题，抓取频次一直为0，日志一直在抓取robots Robots 抓取频次
https://www.3meva.com/天天都在做外链 刚上线还有抓取频次 上线两天就一直0了
819
浏览
屏蔽百度Robots高技术活来了，请教大佬们来看看~ Robots
以下举例链接：网址/com/zhang3/news/page-1.html网址/com/li4/news/page-5.html网址/com/wang2/news/page-7.html网址/com/liu5/news/page-9.htm……
819
浏览
我的网站https就检测不到robots文件，而http就能检测到，请问要怎么设置能让https也能 Robots
<p> 我的网站https就检测不到robots文件，而http就能检测到，请问要怎么设置能让https也能</p><p></p>……
819
浏览
网站地图的txt格式放robots里有用吗？ Robots Site Sitemap
网站地图的txt格式放robots里有用吗？ 还是txt格式的只适合用在百度站长后台提交用 的呢？写html格式的在robots里有用吗？Sitemap: http://www.xxx.com/sitemap.xmlSitemap: ht……
817
浏览
robots经常改收录 会有影响吗？ Robots 索引
改robots,对搜索引擎有影响吗。
816
浏览
新站抓取频次太低 收录慢怎么破 Robots Site Sitemap 文章
<p>这个星期接手了一个上线有两个月的新站优化工作 期间不断的提交链接 抓取诊断 更新sitemap文件 发外链 更新文章（不过是每天一篇 高度原创）但是到现在才收录了一个首页 抓取频次5个以内 这样下去 要优化到啥时候啊 新站……
814
浏览
lists_2_2.html这种格式robots怎么写 Robots
lists_2_2.htmllists_2_3.htmllists_2_4.html像这样的格式怎么写屏蔽？
814
浏览
屏蔽蜘蛛后百度站长平台仍然能正常抓取？？？？？ Robots 站长平台
前段时间进行了网站迁移，可是我忽视了一个事情我之前是有两个网站解析到一个域名上面，因为怕一些事情就吧这个网站下面的Robots给屏蔽了，这次网站迁移没有配置这个 ，我就一直好奇，为啥我的蜘蛛一直是0。也查了很多东西都不知道，然后百度站长平台……
813
浏览
百度资源平台，上传robots文件，提示500，要怎么处理？ Robots 百度资源平台 代码
我上传robots出现下面这些代码：百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500 网站是可以正常访问的，这个是权限的问题吗？我是菜鸟请帮下哦……
812
浏览
各位大神，禁止蜘蛛抓取.php后缀，robots要如何屏蔽掉？ Robots PHP
各位大神，禁止蜘蛛抓取.php后缀，robots要如何屏蔽掉？例如以下这些/Bak/index.php/bakk/index.php/beifei/index.php/bakup/index.php/beifen/index.php……
812
浏览
想问下取消禁止抓取需要多久生效 Robots 网站日志
<p>我之前网站没弄好的时候在robots.txt加了Disallow:/禁止搜索引擎抓取。网站做好之后就取消了。但是现在都过去一个月了为什么还没收录啊。是不是取消得过一段时间才能生效。网站都做好一个多月了。百度一次也没来抓取。……
811
浏览
新网站被收录以后，设置robots禁止抓取，对以后有没有影响 网站收录 Robots
新网站被收录以后，因为一些原因，网站不想公开，于是设置robots禁止抓取，现在网站可以公开了，把robots改成可以抓取后，网站收录会不会有影响……
811
浏览
网站有大量404 页面 已经提交了百度死链 看着百度反馈成功了，robots 文件是否还有屏蔽的必要 Robots 404
网站有大量404 页面 已经提交了百度死链 看着百度反馈成功了，robots 文件是否还有屏蔽的必要，现在看蜘蛛每天还在爬 404 页面，到底要不要做robots 屏蔽呢，屏蔽的话 对蜘蛛有没有影响。如果屏蔽的话，几千的404 也会导致ro……
811
浏览
809
浏览
麻烦大神们看下我robots这条是什么意思，可以把它删了不 Robots 404
<p>麻烦大神们看下我robots这条是什么意思，可以把它删了不，还有就是我已经禁止抓取动态页面了，为什么还是会出现抓取动态页面的情况，还有看日志出现很多不知道的404动态网址链接，这个需要处理不，请求大神回复</p>……
807
浏览
关于robots设置问题：网站设置之后，百度测试显示还在允许抓取 Robots Site Sitemap 根目录
<p>User-agent:*<br>Sitemap:https://www.mengchuangweiye.cn/sitemap.xml<br>Disallow:/plus/<br>Disa……
806
浏览
复制内容如何让搜索引擎快速收录呢？ Robots 淘宝 Site 索引
像淘宝，天猫都是用robots.txt协议禁止搜索引擎抓取收录。这样的话我把淘宝天猫的产品及产品介绍详情复制出来，放到自己网站上。测试过是收录的，就是收录量太少，我用的Wordpress程序做网站，而且基本的seo也会去做，sitemap也……
