1111
浏览
SEO生成网站地图的工具有哪些？ Robots
有没有功能强大点的网站地图生成工具，最好能根据robots去爬URL的那种。很多链接不想放到网站地图了。有没有好的网站工具推荐一下呢？……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1108
浏览
robots.txt 禁止了百度抓取指定连接没有作用，怎么处理？ Robots
<p>robots.txt 禁止了百度抓取指定连接没，但是每天还还是有大量的蜘蛛来抓取。各位大佬你们一般怎么处理的？<br></p>……
1107
浏览
为啥我的小说站不收录内页呢 Robots Site 吐槽 Sitemap
新站上线半个月了，老域名。主动推送+robots推送+sitemap=就是不收内容页。是不是该再等等呢。小说站www.147t.com大神帮我看看行吗。顺便吐槽一下这个百度站长工具sitemap一直在等待中，抓取频次是上个月的，索引还没出来……
1104
浏览
Robots反馈服务器配置有误，大神帮答疑？ Robots
您的服务器配置有误百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：301 但是一切正常……
1104
浏览
robots文件中一个字母的错误，可能造成致命的影响，对吗？ Robots
robots文件中一个字母的错误，可能造成致命的影响，对吗？
1102
浏览
最近大家站长后台是不是出问题了？ Robots 抓取异常
<p>1：sitmap一个月没有更新抓取数据了</p><p>2：robots 抓取异常。</p><p>是我自己的问题还是大家都这样？<br><br><……
1102
浏览
文章页面如何优化增加收录？ Robots h2 排名 代码
文章页面如何优化增加收录？它是站内优化基础，保证站点活跃度，告诉搜索引擎今天又更新了新内容，需要过来抓取，保持爬虫对你网站的新鲜度。但是很多网站内容页面只做到更新，而无法被蜘蛛索引，导致网站迟迟没有排名，更别说权重和ip了。下面我来教大家如……
1101
浏览
关于百度死链处理机制的一个提问 Robots 404 文章 索引
经过研究发现一个网站死链多少不重要，重要的是当天百度抓取的死链数量，如果当天抓取的死链数量达到一个阈值网站就会受到惩罚，比如降权，收录变慢，收录率变低，甚至停止收录。曾经有一个站也删除了大量文章，也没事，秒收。因为百度抓取频率是变化的，有时……
1101
浏览
请问这个Robots 禁止目录里面的某些地址要怎么写，谢谢 Robots
比如我的网站目录 是xxx com/play/1263-1-1.html 我想让百度抓取 xxx com/play/1263-1-1.html play/1263-1-2 play/1263-1-3 play/1263-1-4 以此……
1100
浏览
虚拟主机不能提供301重定向 能够用robots代替301重定向 Robots 301重定向 伪静态
就是robots屏蔽掉要屏蔽的网址，让搜索引擎禁止抓取。是不是301就不用做了，空间服务商让我写伪静态规则，我不会呀……
1098
浏览
robots中 Allow是 告诉搜索引擎可以抓取某些内容，对吗？ Robots
robots中 Allow是 告诉搜索引擎可以抓取某些内容，对吗？
1097
浏览
robots这么写正确吗？还差什么，麻烦补一下 Robots
<p><br></p>
1097
浏览
如何禁止百度收录两个动态地址？ Robots 百度收录
怎么写robots？
1094
浏览
想问一下，大家在修改网站robots文件之后，多久会有效果 网站收录 Robots
最近修改了网站robots文件，导致网站收录出现了问题，现在又重新写了一下，想问robots文件多久能够在百度这里其效果。……
1092
浏览
lumen框架开发的网站，robots主要限制哪些文件 Robots
如题，有大佬告知吗？？？
1090
浏览
网站的robots都已经允还显示禁止的？ Robots
网站的robots都已经允许搜索引擎两天了，咋查询的时候还是显示robots禁止搜索引擎的指令呀？……
1090
浏览
robots这目录怎么写禁止收入，有点难不，亲们看下 Robots
比如我的网站目录 是/play/1263-1-1.html 我想让百度抓取/play/1263-1-1.html play/1263-1-2 play/1263-1-3 play/1263-1-4 以此类推让它可以抓取， 但不想让它……
1088
浏览
网站robobts里没有禁止蜘蛛抓取，为什么在百度搜索框里显示禁止状态 推荐热议 Robots
我这robots问题快一个多月都是这样的问题。给百度反馈的很多次，还是这样。自从换了服务器之后一直处于这个状态。换服务器已经一个月了。……
1087
浏览
蜘蛛抓取 是不是只抓取正文？ Robots JS
导航上面那种不会被抓吧？js放导航上面呢？robots做个地图给蜘蛛看可以吧？各位多指导感谢！……
1087
浏览
我是不是robots出问题了呀。。 Robots 百度蜘蛛
我把ahrefsbot用robots屏蔽了 它不再来了，然而我的百度蜘蛛为啥跟着它一起不来了呢。啥子原因哟小破站 http://www.yingniu888.cn/ ……
1086
浏览
网站抓起频次突然变为0，已经连续了两天了，是怎么回事呢？ Robots 网站日志 抓取频次
<p>网站抓起频次突然变为0，已经连续了两天了，期间内容也是正常上传，没有更改过网站的任何东西，唯独上传了robots文件，但是突然两天抓取频次就将为0了，虽然之前也不高。然后查询了日志文件，发现蜘蛛又有过来爬取。这是怎么回事呀……
1085
浏览
网站一个栏目一直都没有被收录现在权3? Robots 静态
我是dede搭建的，都是纯静态页面，robots也没有，主要是关键词多，还有就是靠时间养的，我是仿的站，对seo角度不是很友好啊！但是内容不是采集的都是原创的。我想知道怎么提升收录？……
1085
浏览
有没有做金融网站SEO的大神，看看我的这个站怎么回事，做了几个月了，网站还没有放出来！ 数据库 Robots 代码 文章
<p>说一下这个网站：刚刚上线的时候，代码都没有完整，很多死链接后台数据都是写死的，因此把robots.txt屏蔽了，现在已经把网站数据库调用完了，也把robots.txt文件放开了，而且每天更新伪原创文章（因为金融行业，写原创……
1085
浏览
写了写Robots协议，百度蜘蛛为何不执行，到底是什么原因？ Robots 百度蜘蛛
<p>网址地址：回收布料https://www.shtengbu.com/<br>问题原因：收录了首页，内页没有一个被收录的，更新的产品和新闻页面都是原创，维持三个月了，收录的寥寥无几，我写了屏蔽分站的写Robots……
1084
浏览
这个robots书写是正确的吗？适不适合收索引擎优化 Robots
<p>刚开始学，对这方面不太懂，求前辈们帮忙解答一下</p>
1084
浏览
网站近期索引量爆跌，网站也被降权，谁能帮忙分析一下原因呢？ Robots Site 排名 文章
网站之前因为robots文件误操作导致各方数据爆跌，但后面经过每天持续的正常优化维护后，网站恢复如初，权重还由一上升到二，索引量、关键词库也在持续增长，一切似乎都在往好的方面发展。但是在15号网站索引量直接减少514条，当时出现了一定的影响……
1082
浏览
这种robots写法正不正确，求大佬指点迷津！！！ Robots
<p>zhezhong <br></p>
1080
浏览
网站上线2个月不收录，10年老站长第一次遇到，有哪位高手来分析分析？ Robots Site Sitemap 代码
网站上线2个多月，目前一个页面都不收录，十年的老站长还是第一次遇到，内容基本是原创的，robots没问题，sitemap什么的都正常提交，代码也检查过几遍，站长平台反馈什么回应都没有，网站名称：必经地旅游网，网址：www.bijingdi.……
1078
浏览
robots文件的作用是指令搜索引擎禁止抓取某些页面，或者允许抓取某些页面，对吗？ Robots
robots文件的作用是指令搜索引擎禁止抓取某些页面，或者允许抓取某些页面，对吗？
1076
浏览
网站的robots文件要怎么写？ Robots
<p><font size="4">我想让蜘蛛不爬我网站新闻栏目的其中一项，比如图中“帝唐动态”这一栏的所有新闻都不让蜘蛛爬取收录，网站的robots文件要怎么写呢。我目前自个写的robot文件没……
1069
浏览
看日志百度蜘蛛都不理我写的robots Robots 百度蜘蛛
这是啥子原因呢
1066
浏览
网站没设置robots文件，但是直接在域名后面输入/robots.txt却能显示出文件 Robots
我的网站没设置robots文件，后台也没看到有这个文件，用ftp也查看不到，但是用各种检测工具都能检测出来，并且直接在域名后面加/robots.txt还能直接进去。请教各位大佬这是什么情况呢……
1064
浏览
对国内SEO现状的一点思考 软文 Robots SEOer Site
我讲一件真实的事情。我在一个群里看见一个很活跃的群友，在宣传自己说接单可以找他，保证见效，无效退款。我私聊他，把BSG的网址给他，我说你简单评估一下这个站。我刚发过去没多久，他消息过来了：首页内容过少，没有什么有价值信息，要充实内容。没有合……
1060
浏览
新站长必看的20条seo小常识，有补充的吗？ Robots JS IIS 排名
新站长必看的20条seo小常识 1、问： Title 应该怎么做呢？ 答：头部建议取3 个关键词，字数为 30 个中文字或者 60 个英文字母。 2、问：为什么词排百度第一页也不怎么来流量？ 答：选择词需要考虑词的指数高不高，可……
1060
浏览
求助，Robots没有屏蔽但是站长平台抓取测试提示屏蔽 Robots 站长平台
<p>内页明明没有设置robots屏蔽，但是就是模拟抓取显示robots屏蔽，主页可以正常抓取，</p><p></p>……
1059
浏览
1059
浏览
我的网站有一个后台Robots.tet要怎么弄 Robots
上面说通过Robots.tet告诉那些能抓取哪些不能抓取，不能抓取的会给予权重吗？大神教教要怎么弄……
1058
浏览
网站只收录栏目页而不收录内容页是怎么回事呢？ Robots SEOer
<p>网站<a href="https://www.jcpeixun.com/" target="_blank" data-url="www.jcpeixun.com&qu……
