947
浏览
关于robots的骚操作带来一个血的教训 Robots 百度知道
前几日发现很多国外的垃圾蜘蛛，还有bing msn等等这些蜘蛛来我网站特别的多，所以就想着把垃圾蜘蛛给屏蔽掉，User-agent：AhrefsbotDisallow: /但他娘的一时不慎，把这行复制在了robots文件的最后面，放上去后忘……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
947
浏览
robots经常改收录 会有影响吗？ Robots 索引
改robots,对搜索引擎有影响吗。
945
浏览
943
浏览
网站一些图片内容需要屏蔽了吗? Robots 文章
网站里一些图片内容，我不想让搜索引擎抓取，只抓取文字就可以，是不是需要屏蔽，屏蔽后我的内容还能正常显示吗？robots.txt，需要屏蔽图片吗？一篇文章如果已经有收录了，修改后还会重复收录吗？……
943
浏览
禁止所有搜索引擎爬取收录网站，写robots对吗 Robots
User-agent: * Disallow: /禁止所有搜索引擎爬取收录网站 这样写对吗？
943
浏览
求大神分享robots.txt比较全面的文本 Robots
求求大神分享robots.txt比较全面的文本
943
浏览
新站如何做好网站优化记住下面八点 CMS Robots 404 跳转
1:重点是网站建设，选择一个利于SEO优化网站CMS系统模板；2：网站策划布局，站在客户浏览及体验度上考虑布局网站内容；3：遵循网站抓取关键词适量的布局图文并茂结合；4：定位网站首页核心关键词及栏目长尾词分布；做好SEO网站基础优化：TDK……
943
浏览
网站收录的低质量页面，通过robots屏蔽是否可以？ 网站收录 Robots 404
之前收录的低质量页面，我在robots.txt中Disallow了一下，这个页面百度会自动删除吗？ 因为很多页面带参数的，后台删掉这个内容，这个页面还是存在的，只是内容为空了，不存在404这种情况，我只是在robots.txt中Disall……
943
浏览
如何将一个网页的状态码设为404 Robots 宝塔 404
<p>某网站存在一些非主动生成的动态链接空白页面（状态码为200）总是被蜘蛛抓取，比如如图中链接类型，做了robots屏蔽还是没用，就想把这页面改成404识别让蜘蛛别来抓取了，怎么设置（tp程序，宝塔后台服务器管理）</p……
943
浏览
robots.txt中可以屏蔽中文url吗？ 中文URL Robots
请问下各位，robots.txt，中如何屏蔽中文url，一个目录下，有英文url和中文url，xxx.com/xxx/吃饭/xxx.com/xxx/手机/xxx.com/xxx/abc/如何把其中的中文url在robots.txt中屏蔽呢？……
942
浏览
复制淘宝、天猫的产品详情内容，如何能更好的被收录？ Robots 淘宝 Site
像淘宝，天猫都是用robots.txt协议禁止搜索引擎抓取收录。这样的话我把淘宝天猫的产品及产品介绍详情复制出来，放到自己网站上。测试过是收录的，就是收录量太少，我用的Wordpress程序做网站，而且基本的seo也会去做，sitemap也……
942
浏览
robots协议具体不让蜘蛛抓取哪些页面？ Robots
一般不让蜘蛛抓取哪些页面？求解答
940
浏览
939
浏览
各位大神帮我看下 我的Robots文件设置有没有错误 Robots PHP JS
各位大神帮我看下 我的Robots文件设置有没有错误 域名www.shangphd.com文件如下：User-agent: * Disallow: /plus/ad_js.php Disallow: /plus/advancedsearc……
939
浏览
关于robots设置问题：网站设置之后，百度测试显示还在允许抓取 Robots Site Sitemap 根目录
<p>User-agent:*<br>Sitemap:https://www.mengchuangweiye.cn/sitemap.xml<br>Disallow:/plus/<br>Disa……
938
浏览
robots如何禁止百度抓取？ Robots
我想其他搜索引擎抓取，但是不给百度抓取，请问robots怎么写才能禁止百度抓取？
938
浏览
中英文双模板的网站如何优化处理，比较合适？ Robots 二级域名
网站有中英文2个版本，应该如何处理才不会影响到中文版本的优化呢，英文是目录（www.abc.com/en）还是开个二级域名（en.abc.com）好呢?中英文两套程序是共存在一个虚机中，英文版的反正不考虑优化，是不是可以直接robots.t……
937
浏览
百度资源平台，上传robots文件，提示500，要怎么处理？ Robots 百度资源平台 代码
我上传robots出现下面这些代码：百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500 网站是可以正常访问的，这个是权限的问题吗？我是菜鸟请帮下哦……
937
浏览
网站地图的txt格式放robots里有用吗？ Robots Site Sitemap
网站地图的txt格式放robots里有用吗？ 还是txt格式的只适合用在百度站长后台提交用 的呢？写html格式的在robots里有用吗？Sitemap: http://www.xxx.com/sitemap.xmlSitemap: ht……
935
浏览
robots的链接太多怎么办？ Robots
robots的链接太多，不能直接限制目录，要限制链接吗？robots文件内容过多，会影响百度抓取吗？……
933
浏览
新网站被收录以后，设置robots禁止抓取，对以后有没有影响 网站收录 Robots
新网站被收录以后，因为一些原因，网站不想公开，于是设置robots禁止抓取，现在网站可以公开了，把robots改成可以抓取后，网站收录会不会有影响……
932
浏览
各位大神，禁止蜘蛛抓取.php后缀，robots要如何屏蔽掉？ Robots PHP
各位大神，禁止蜘蛛抓取.php后缀，robots要如何屏蔽掉？例如以下这些/Bak/index.php/bakk/index.php/beifei/index.php/bakup/index.php/beifen/index.php……
929
浏览
我们来看下搜外的robots，发现了什么？ Robots
<p><br></p>
929
浏览
如果新站做个网站地图 那么地图放首页好还是 每个页面都需要放地图呢 Robots
如果新站做个网站地图 那么地图放首页好还是 每个页面都需要放地图呢 地图上 需要放 robots 的吗https://www.xiaomeisp.com……
928
浏览
lists_2_2.html这种格式robots怎么写 Robots
lists_2_2.htmllists_2_3.htmllists_2_4.html像这样的格式怎么写屏蔽？
927
浏览
教你如何做到网站3天内收录放出首页 Robots Site 排名 文章
<p>小编是一个做了10年seo的从业人员，也是seowhy的常客了，最近发现很多的伙伴问“为什么百度不收录”，今天小编就给大家说说这个问题，好的闲话不说开始正题。</p><p>无图无真相给大家展示一下 ……
927
浏览
robots.txt概念和10条注意事项 Robots Site PHP
robots.txt概念如果我们网站内有某些特殊的文件不让搜索引擎收录，那怎么办？答案是：使用一个叫做robots.txt的文件。robots.txt文件告诉搜索引擎本网站哪些文件是允许搜索引擎蜘蛛抓取，哪些不允许抓取。搜索引擎蜘蛛访问网站……
924
浏览
有知道这个是什么意思的吗 网站 Robots
<p><a href="http://www.ccjiaheccgs.cn/robots.txt" target="_blank" data-url="www.ccjiah……
923
浏览
网站出现大量404页面，robots是最好的解决方法吗？ Robots 404
网站出现大量404页面，提交死链，robots是最好的解决方法吗？
922
浏览
蜘蛛一直抓取之前未改版前的链接，造成一大堆死链，要如何处理 数据库 Robots WordPress 代码
<p>网站改版快一年了，之前是用WordPress建站，后面代码给改了，是去年3月份改版的，到现在已经快一年了，从站点日志里面看到蜘蛛一直在抓取旧站链接，也有整理过一大堆死链提交了，也在robots里面禁止蜘蛛爬行，但是蜘蛛还是……
921
浏览
如何让百度快速抓取内页 Robots Site Sitemap 百度蜘蛛
今天看了百度日志，百度蜘蛛有200多个抓取网站，但是主要主要抓取robots和sitemap文件，像产品内页和新闻内部都不抓取。这是怎么回事？有没有大神指点一下。www.snow-china.com……
921
浏览
想问下取消禁止抓取需要多久生效 Robots 网站日志
<p>我之前网站没弄好的时候在robots.txt加了Disallow:/禁止搜索引擎抓取。网站做好之后就取消了。但是现在都过去一个月了为什么还没收录啊。是不是取消得过一段时间才能生效。网站都做好一个多月了。百度一次也没来抓取。……
920
浏览
919
浏览
网站只收录栏目页而不收录内容页是怎么回事呢？ Robots
<p>网站<a href="https://www.xslook.com/" target="_blank" data-url="www.xslook.com" ……
917
浏览
百度收录出现几千个首页，这样写robots可以吗？ Robots 百度收录
<pre>Disallow:http://www.szmaguan.com/?*</pre><p>这样写robots可以吗？</p><p><br></p>……
916
浏览
曦曦SEO：网站推广如何才能有效? Robots 搜狗 竞价 404
曦曦SEO：网站推广如何才能有效? 日常生活中，我们经常会遇到很多企业主抱怨我们公司的网站已经存在很多年了，连公司名字都没找到!为什么?曦曦SEO今天告诉你真正的原因，因为你的公司只有一个网站，却没有做过任何网站推广。在这种情况下，你……
916
浏览
这个网站是黑帽吗？能不能换友情链接？ Robots Site PHP 黑帽
在滴滴友链看到的，site不到首页，robots文件看到这样一行，根据我浅薄的语义化理解 ，是友情链接的意思吗？Disallow: /plus/flink.phphttp://www.250seo.com/希望大神们，给分析一下。跪求了……
