942
浏览
怎么放了这个robots.txt后一个收录都没有是怎么回事啊 Robots PHP JS
这是我设置的，请大神们指教一下... # robots.txt file start # Robots.txt file from http://www.huizhoubaomu.com # All robots will spider t……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
941
浏览
940
浏览
【推广站改优化站】各位大佬能帮我看看改版后的网站有什么问题吗？ Robots canonical 跳转 文章
我有几个疑问如下：1、网站改版后原来的推广页，是否需要转移到新解析的二级域名去，还是继续用原来的二级目录，推广页上的广告弹窗会不会影响到优化，百度好像对广告弹窗打击得比较严。2、网站的移动端是独立站，域名是带m的，但是页面被PC端收录了，而……
938
浏览
你的网站长时间不收录是不是也遇到了这个问题 Robots 站长工具 百度收录 文章
之前做了一个新站，文章内容全部都是原创的，提交给了百度等着收录，天天盼着，一个半月过去了都没收录成功。当时信心满满的认为是百度出了问题，或者是什么沙盒啊之类的反应，每天继续坚持更新着文章，但三个月过去了依旧没收录，这时候就有点着急了。开始检……
938
浏览
分享几个seo冷门干货 Robots 视频 备案 排名
<p>1、备案不用关站，写代码设置百度ua访问时正常，直接打开时是关闭状态即可。<br>2、robots.txt能告诉百度网站地图位置，可以看下好看视频的https://haokan.baidu.com/robots……
937
浏览
936
浏览
谁有空帮我分析一下，这样写的robots.txt文件对不对啊 Robots
<p></p>
935
浏览
robots.txt的问题 Robots
robots想禁止admin.xxx.com这种域名的话，是不是：Disallow:admin.xxx.com就好了百科上说是这个，但不太懂什么意思：Disallow: /admin/ 后台管理文件想把robots.txt这块加上去，但后台……
935
浏览
网站的收录数量直接影响站点的流量 Robots IIS 排名 索引
在SEO中，收录数对流量会有影响，因为页面的收录是页面获得排名的前提，页面排名也直接影响了网站的流量，这就是为什么站长们都注重百度权重收录量大是每一个网站优化希望得到的结果，但是就算你收录量到亿，没有流量，也就只能是个数字而已，网站质量低导……
934
浏览
网站优化要学会分析细节 CMS Robots ping 404
1、诊断网站速度 诊断网站的打开速度是最基础的，因为，一个网站打开速度过慢，会直接影响网站的用户体验度，和影响网站与搜索引擎的友好度。诊断网站速度一般我们可以在自己电脑上PING测速，也可以在一些站长工具里进行检查。 2、分析网页路……
933
浏览
robots.txt 错误，常常是被惩罚的一个原因，对吗？ Robots
robots.txt 错误，常常是被惩罚的一个原因，对吗？
932
浏览
百度抓取这些文件怎么回事？robots怎么屏蔽？比如屏蔽// Robots
<p><br></p>
932
浏览
robots文件生成这块是有什么问题吗？求大神指点 Robots
<p><br><a href="http://www.202010.com/" target="_blank" data-url="www.202010.com……
931
浏览
网站好像是被黑，但是查不出来 PPT Robots 网站被黑
第一次出现这种被黑的情况，例如：域名/?xxxxxxx.doc；域名/?xxxxxx.pptx；.xml；等等这种类型的; /?后面被收录了10来条，全部都是黑的东西，但是查了ftp没有任何页面;我自己是用robots先禁止了 /? （这……
929
浏览
Robots.txt 我写对了吗？ Robots WordPress 文章
<p>最近用wordpress做了个网站 ，发现搜索引擎乱抓站内URL 莫名其妙不知道什么原因，多次处理无果，于是乎想用robots.txt文件来限制掉，搜索引擎抓取所有东西，只让搜索引擎抓取 首页 目录及文章页面</p&……
928
浏览
robots如何屏蔽以固定字母开头的目录? Robots
robots设置中我想屏蔽以tem开头的目录怎么设置?第一种：Disallow: /tem*/ 第二种：Disallow: /tem*是第一种设置有效还是第二种设置有效？……
926
浏览
925
浏览
robots中 Disallow 是告诉搜索引擎不要抓取某些文件或目录，对吗？ Robots
robots中 Disallow 是告诉搜索引擎不要抓取某些文件或目录，对吗？
925
浏览
925
浏览
百度后台显示robots没问题，为啥其它搜索引擎显示爬虫被封禁？ Robots 索引
<p></p><p>百度后台显示robots没问题，为啥其它搜索引擎显示爬虫被封禁？</p>……
922
浏览
大伙看看这个robots这么写有问题吗 Robots
<p><br></p>
922
浏览
robots文件有什么作用？ Robots
网站没有弄robots文件，没事吧？
921
浏览
网站关键词搜索结果中出现大量外链怎么办？ Robots SEOer PHP 跳转
网站和评论中的外链新采用了 exmple .com/go.php ?url= http: // abc .com 的方法跳转,统计外链的访问次数等等.go.php 是直接跳转, 不是呈现一个页面说明"您将离开本网站"这种.外链全部加了rel……
920
浏览
noindex meta robots标签 ,页面会被抓取，但不会被索引，不会出现在搜索结果页面，对 Robots 搜索结果
noindex meta robots标签 ,页面会被抓取，但不会被索引，不会出现在搜索结果页面，对吗？
919
浏览
Robots.txt问题请教一下，请大神帮忙 Robots
# robots.txt generated at http://tool.chinaz.com/robots/ User-agent: *前面这个生成网站网址要换成我们设计网站的网址吗……
918
浏览
zblog如何通过robots禁止百度收录分类页面 Robots 百度收录 zblog
<pre><br></pre><p><br><br></p><p>通过<span>Disallow: /category/*后连内页……
917
浏览
想要改版两个导航栏页面内容 会有影响吗 Robots Nofollow
<p>想要改版两个导航栏页面内容 会有影响吗<br>这两个导航栏之前就用robots和nofollow让他不被抓取，所以这两个页面都是没有被抓取和收录过的，我这时候改版这两个页面会有影响吗<br><……
916
浏览
Disallow: /*ox* 这是什么意思？有谁知道吗？ Robots
我的网站robots.txt文件里设置了这个，对网站有影响吗？蜘蛛都不来抓取了
913
浏览
生成了多个网站地图，robots内怎么设置？ Robots Site Sitemap
生成了多个网站地图http://www.xxx。Com/sitemap.xmlSitemap: http://www.sdzjw。Com/sitemap/sitemap_zx.xmlhttp://www.xxx。Com/sitemap/si……
911
浏览
910
浏览
只有禁止索引时，meta robots标签才有意义，对吗？ Robots
只有禁止索引时，meta robots标签才有意义，对吗？
910
浏览
907
浏览
907
浏览
robots检测更新出现此类问题该如何解决？ Robots
<p><br></p>
907
浏览
站长平台Robots请教 Robots 备案 代码
<p>年前因为备案原因使用另一个域名使用Robots，对整站抓取做了屏蔽如图：</p><p></p><p>但年后使用新的域名，也把Robot屏蔽代码删除，现在如下图：</p&……
906
浏览
想做谷歌seo，请问怎么优化，服务器模板方面该怎么选择 Robots Nofollow H标签 SEO优化
1.谷歌seo优化都包括哪些方面？平时百度里面的h标签，nofollow，以及robots这些都还适用吗？具体怎么优化，有什么插件可以查询数据2.我们针对的是全球的业务，服务器节点应该咋选择，镜像方面还选择centos吗？3.做外贸模板有什……
906
浏览
百度刷新robots 失败，请问各位有没有这情情况？ Robots
<p>百度刷新robots 失败，请问各位有没有这情情况？</p><p><br></p><p><br></p>……
904
浏览
蜘蛛抓取日期目录，导致大量403，该如何处理？ Robots URL结构
内容生成URL结构包含日期目录：/20150513/id.html，目录不能访问，报403，网站无入口，但是日志中发现蜘蛛大量抓取日期目录，这种情况要如何处理，无法使用robots，只能不断提交死链？谢谢！220.181.108.94 - ……
903
浏览
robots大家会把一些css js 图片等写进去吗？有必要吗？ Robots JS
每天网站上都有爬css和js等 要不要屏蔽掉来节约爬虫？这样会让爬虫节省时间去爬其他页面am？还是说他本来想爬js 结果屏蔽了 他扭头就走了？也不会去爬其他的内页？……
