901
浏览
关于robots字段屏蔽写法的问题？ Robots
假如我要屏蔽public后面的所有字段 requestUrl:/syzl-business-api/business/public/queryCityConfModel requestUrl:"/syzl-business-api/busi……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
896
浏览
网站权重掉了，site掉到了第三页，品牌关键词也没了咋整？ Robots Site JS
网站三w 。zsxcai。com我初步判断是sitemap混乱+新增的edu页面抢权重了，导致的掉权。还有就是，为啥百度抓了一大堆wp-json啊？这玩意怎么解决掉啊...直接robots掉？（worldpress功能太多了，用起来反而觉得……
896
浏览
怎么看网站中robots文件 看看蜘蛛来网站爬行的时间呢 Robots
怎么看网站中robots文件 看看蜘蛛来网站爬行的时间呢 www.tianchiyedanguan.com
896
浏览
网站双链接，我robots禁止抓取动态链接有什么影响？ Robots 动态链接
网站双链接，我robots禁止抓取动态链接有什么影响？
896
浏览
如何在robots.txt里屏蔽夸克搜索引擎蜘蛛 Robots 索引
请问，如何在robots.txt里屏蔽夸克搜索引擎蜘蛛？
894
浏览
robots.txt 这样配置是不是错的 Robots
我的网站www.daimjia.cn[?]前几天添加了robots.txt文件， 因为我自己不懂写，然后在一个在线配置robots的网站生成了一个，我的目的是想把谷歌的蜘蛛禁了。。但是这几天所有的蜘蛛几乎都不来了，能帮我看下是不是这个配置的……
894
浏览
404或者死链接需要做txt文档吗 Robots 死链接 404
404或者死链接需要做txt文档放在根目录吗，再在robots里写Disallow: /404.txt吗
893
浏览
robots的写法问题 Robots
我网站的导航分类结构是：www.xxx.com/abc 这样的，那么我robots应该写作：Disallow: /abc 还是 Disallow: /abc/ ?……
892
浏览
网站更换备案，期间用robots屏蔽蜘蛛可以吗？会不会有影响？ Robots 备案
网站更换备案，期间用robots屏蔽蜘蛛可以吗？会不会有影响？
890
浏览
只有需要禁止搜索引擎抓取某些页面时，robots文件才有存在的意义，对吗？ Robots
只有需要禁止搜索引擎抓取某些页面时，robots文件才有存在的意义，对吗？
890
浏览
robots设置中我想屏蔽以tem开头的目录怎么设置? Robots
robots设置中我想屏蔽以tem开头的目录怎么设置?第一种：Disallow: /tem*/ 第二种：Disallow: /tem*是第一种设置有效还是第二种设置有效？……
889
浏览
各位大佬，请问robots文件应该要怎么样写好？ Robots
各位大佬，请问robots文件应该要怎么样写好？织梦系统的，是不是可以把除了内容页以外的其他文件夹都禁止爬行？……
886
浏览
啊！不小心把网站robots.txt设置了禁止抓取 Robots
我说最近怎么百度不收录 本来想改小网站的 robots.txt 结果把主要的那个网站改了 现在才发现，现在改过来，还能怎么补救呢？ ……
884
浏览
网站问题诊断-请问大神帮忙看看网站有没有问题，SEO优化的问题？ Robots 抓取频次 SEO优化
<p>网站：wiki.fpc-pcba.com 可以正常访问 </p><p>百度站长 抓取诊断可以正常抓取 抓取频次为0</p><p>但是Robots检测显示服务器配置有……
882
浏览
昨天屏蔽谷歌蜘蛛后，网站打开速度快了很多！ Robots PHP Discuz 网站打开速度
天下苦谷歌久已，以前网站打开速度慢！服务器负载经常被干满，检查了很多地方没有找到原因！昨天安装了个蜘蛛插件发现谷歌蜘蛛来得比较多！所以直接给屏蔽了谷歌蜘蛛，今天发现网站速度打开块很多了！服务器负载也接近空载在跑https://www.108……
882
浏览
大神帮忙看看robots写的对不对 Robots
页面url为：http://www.xinshouyou.com/attache/xiazai9652/我的robots写法为：Disallow: /*/xiazai*/但是蜘蛛依然还在爬取收录此类型的URL，有大神帮忙看看么……
882
浏览
robots文件禁止抓取template为什么百度还抓取？ Robots
<p>www.jinghuabanchang.com 看了一下日志文件 发现百度一直在抓取这个template这个文件 明明我已经禁止了 百度还是那个百度吗？</p>……
882
浏览
新站怎么看是否被降权呢？麻烦大家进来帮我看看我网站的问题。 Robots 站内优化 老域名
<p>新站有没有降权一说，蜘蛛抓取上百次首页，为什么不抓取内页呢？<b>请求大神帮我看看我的网站哪里有问题，自我感觉站内优化已经做到位了，站外优化也在坚持。</b></p><p>内……
881
浏览
如何去除一个网站的死链接？ 跳出率 Robots 404 索引
处理死链接一般都是通过以下几个方法：一、给网站设置404页面404页面就是告诉访客，当前所浏览的页面出错或不存在了，请继续浏览网站其它内容。404页面可以设置成单独的一个页面，这个404页面处理好了，当用户遇到死链接的时候会有眼前一亮的感觉……
879
浏览
877
浏览
我网站的robots.txt 禁止了百度快照收录了吗 Robots 百度快照
<p>我网站的robots.txt 禁止了百度快照收录了吗</p><p><br></p><p><br></p><p><br&g……
877
浏览
876
浏览
谷歌搜网站名称“没有此网页的信息”，提示我robots文件屏蔽了首页？ Robots 宝塔 宝塔面板
<p>谷歌搜网站名称“赤道365论坛”，显示“没有此网页的信息”。<br><br><br><br></p><p>网站带www和不带www的域名都进行了解析，……
874
浏览
做SEO优化的过程中为什么那么注重robots.txt? Robots SEO优化
做SEO优化的过程中为什么那么注重robots.txt?
872
浏览
网站上线一周不收录 站长后台一直提示抓取失败？ Robots 更新文章 文章
<p><br></p><p><br></p><p>网站上线一周了一直没有收录，每天也在持续更新文章，robots也没错，网站能正常访问，怎么就会一直抓取失败……
866
浏览
大佬，这个有没问题，不说网站不能有robots吗？ Robots
<p></p>
865
浏览
863
浏览
网站改版原来收录的URL怎么办？ Robots 404 6系统 索引
网站改版有多种情况，有一种情况是：网站域名不变、网站系统要完全更换，内容继续在新系统使用。如果这个网站已存在一定时间，已有较多收录量，那么原来收录的那些URL该怎么办呢？有两个办法来解决：1、在新系统或新服务器上，增加一项功能，把老的已收录……
862
浏览
robots屏蔽问题 Robots
问下兄弟们像下面的链接 有没有比后面这个更简单点的写法 Disallow: /author-1.html xxxxx/author-1.htmlxxxxx/author-1_1.htmlxxxxx/author-1_2.htmlxxxxx……
862
浏览
我的robots可以正常访问，为啥百度说我服务器访问有问题？ Robots 百度说
<p>我的robots可以正常访问</p><p></p><p><br></p><p>百度说服务器有问题</p><p>&l……
861
浏览
请问我的robots文件怎么抓取失败 Robots
<p><br></p><p>这个咋弄</p>
861
浏览
已经设置了robots，但还是被百度收录了，显示title，如何删除这种快照呀！ Robots 百度收录
<p>早期被百度收录了，然后设置了robots！但现在发现，还是被百度收录了，搜索结果显示title，如何删除这种快照呀！</p><p></p>……
860
浏览
近期网站搜索部分页面搜索不到，排名也掉，据回想，大概有三个原因 Robots 排名 文章
1.在FTP设置robots.txt禁止组和公共读取权限，只保留过所有者，11.27日左右2.在虚机上开启了HTTPS，加上了SSL访问，11.27日左右3.网站改了部分内容，复制了一些文章，12.11日左右现在是站长平台索引量没太有变化，……
858
浏览
写了robots怎么还是被百度抓取收录了？ Robots
这个百度是有bug，写了robots怎么还是被百度抓取收录了？
857
浏览
必应的蜘蛛如何屏蔽？ Robots 必应
robots 咋写
857
浏览
帮我看下网站的robots有没有问题 Robots
网站是公司老板找别人做的 https://www.58zhuan gxiu.cn/robots.txt
