787
浏览
robots设置中我想屏蔽以tem开头的目录怎么设置? Robots
robots设置中我想屏蔽以tem开头的目录怎么设置?第一种：Disallow: /tem*/ 第二种：Disallow: /tem*是第一种设置有效还是第二种设置有效？……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
786
浏览
大伙看看这个robots这么写有问题吗 Robots
<p><br></p>
784
浏览
784
浏览
783
浏览
780
浏览
780
浏览
关于robots字段屏蔽写法的问题？ Robots
假如我要屏蔽public后面的所有字段 requestUrl:/syzl-business-api/business/public/queryCityConfModel requestUrl:"/syzl-business-api/busi……
779
浏览
robots的写法问题 Robots
我网站的导航分类结构是：www.xxx.com/abc 这样的，那么我robots应该写作：Disallow: /abc 还是 Disallow: /abc/ ?……
778
浏览
robots大家会把一些css js 图片等写进去吗？有必要吗？ Robots JS
每天网站上都有爬css和js等 要不要屏蔽掉来节约爬虫？这样会让爬虫节省时间去爬其他页面am？还是说他本来想爬js 结果屏蔽了 他扭头就走了？也不会去爬其他的内页？……
770
浏览
您的robots文件设置了重定向跳转，暂时无法查看 Robots 跳转
更新robots时，出现这个问题，但是我在网站上打开对应的robots，却能够打开，没毛病，检测http状态，返回的也是200，……
769
浏览
robots文件禁止抓取template为什么百度还抓取？ Robots
<p>www.jinghuabanchang.com 看了一下日志文件 发现百度一直在抓取这个template这个文件 明明我已经禁止了 百度还是那个百度吗？</p>……
767
浏览
我网站的robots.txt 禁止了百度快照收录了吗 Robots 百度快照
<p>我网站的robots.txt 禁止了百度快照收录了吗</p><p><br></p><p><br></p><p><br&g……
766
浏览
大神帮忙看看robots写的对不对 Robots
页面url为：http://www.xinshouyou.com/attache/xiazai9652/我的robots写法为：Disallow: /*/xiazai*/但是蜘蛛依然还在爬取收录此类型的URL，有大神帮忙看看么……
763
浏览
robots只抓取html行不行？ Robots 网站优化 JS
只抓取网站html行不行？ 将含？的页面，模板、图片、css、js目录这些都不抓取行不行？ 会不会影响网站优化的呢 有没有副作用？？Allow:*.htmlDisallow: /某个目录/Disallow: /*?*Di……
760
浏览
写了robots怎么还是被百度抓取收录了？ Robots
这个百度是有bug，写了robots怎么还是被百度抓取收录了？
759
浏览
Robots更新请求失败这是怎么回事？ Robots
<p><br></p>
758
浏览
网站绑定了2个域名，怎么禁止百度蜘蛛抓取 ，另外一个域名 Robots 百度蜘蛛
绑定了A和B域名，想B域名不被抓取，怎么利用robots.txt 禁止百度蜘蛛抓取B域名
758
浏览
robots有问题吗？ Robots
<p><br></p>
757
浏览
757
浏览
网站优化要学会分析细节 CMS Robots ping 404
1、诊断网站速度 诊断网站的打开速度是最基础的，因为，一个网站打开速度过慢，会直接影响网站的用户体验度，和影响网站与搜索引擎的友好度。诊断网站速度一般我们可以在自己电脑上PING测速，也可以在一些站长工具里进行检查。 2、分析网页路……
756
浏览
做SEO优化的过程中为什么那么注重robots.txt? Robots SEO优化
做SEO优化的过程中为什么那么注重robots.txt?
755
浏览
怎么看网站中robots文件 看看蜘蛛来网站爬行的时间呢 Robots
怎么看网站中robots文件 看看蜘蛛来网站爬行的时间呢 www.tianchiyedanguan.com
752
浏览
百度站长工具robots校检的时候一直出现错误 Robots 站长工具 百度站长工具
<p><br></p><p>是不是都是这样的 </p>
751
浏览
站长平台Robots请教 Robots 备案 代码
<p>年前因为备案原因使用另一个域名使用Robots，对整站抓取做了屏蔽如图：</p><p></p><p>但年后使用新的域名，也把Robot屏蔽代码删除，现在如下图：</p&……
748
浏览
两个基础问题，问一下，老哥们进来坐坐 PPT Robots 伪静态 静态
https://www.***。Com/user-sign?tab=resetpassword&redirect_to=https://www.***。Com/pptkj1.上面这种登录页面的动态链接，我在robots文件里面怎么屏……
748
浏览
百度刷新robots 失败，请问各位有没有这情情况？ Robots
<p>百度刷新robots 失败，请问各位有没有这情情况？</p><p><br></p><p><br></p>……
747
浏览
robots文件要怎么写才合适 Robots
922电影http://www.922dy.cc/
741
浏览
织梦的动态预览页面plus/view.php被百度移动收录了很多，这个该怎么处理 Robots PHP 404
遇到奇葩的事情了。网站好像被人恶意刷流量流量来自m.baidu.com，刷的是一个在一年前就删掉的织梦动态预览页面/plus/view.php?aid=******结果现在导致百度移动端收录了好多这个网址格式的页面奇葩的是明明是404页面，……
740
浏览
请问我的robots文件怎么抓取失败 Robots
<p><br></p><p>这个咋弄</p>
740
浏览
大佬们我网站的tdk做的有什么毛病吗？ Robots
www.btbbkj.com 还有希望大佬们帮我分析一下我网站的robots文件，tdk有什么毛病，非常感谢
737
浏览
当网站突然不收录新内容，应该从哪些地方找问题 Robots 站长工具 老域名 索引
网站突然出现蜘蛛不抓取新内容，我们应该从哪些地方找原因：1、老域名改网站做了3个月，权重6，目前是流量变化不大，然后站长工具有轻微降权。2、我的网站手动更新，一天手动做30-40篇，工作8小时。3、资源平台反馈百度 2次无效（怀疑机器人回复……
736
浏览
啊！不小心把网站robots.txt设置了禁止抓取 Robots
我说最近怎么百度不收录 本来想改小网站的 robots.txt 结果把主要的那个网站改了 现在才发现，现在改过来，还能怎么补救呢？ ……
735
浏览
734
浏览
robots.txt文件怎么写？ Robots
robots.txt文件怎么写？robots.txt主要写哪些东西？
733
浏览
733
浏览
Robots.txt 我写对了吗？ Robots WordPress 文章
<p>最近用wordpress做了个网站 ，发现搜索引擎乱抓站内URL 莫名其妙不知道什么原因，多次处理无果，于是乎想用robots.txt文件来限制掉，搜索引擎抓取所有东西，只让搜索引擎抓取 首页 目录及文章页面</p&……
731
浏览
新站怎么看是否被降权呢？麻烦大家进来帮我看看我网站的问题。 Robots 站内优化 老域名
<p>新站有没有降权一说，蜘蛛抓取上百次首页，为什么不抓取内页呢？<b>请求大神帮我看看我的网站哪里有问题，自我感觉站内优化已经做到位了，站外优化也在坚持。</b></p><p>内……
