1148
浏览
移动端手机站的优化方法有哪些 Robots 浏览器 移动端 手机站
1、网站定位和页面设计2、手机网站适配声明3、网站尽可能简洁4、清晰的结构和明晰的导航5、做好浏览器兼容调试工作6、域名和robots设置7、避免使用弹窗、flash、java等行为8、页面细节优化9、url链接规范化10、高版本的手机站的……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1148
浏览
请问大家，robots检查这里是有带个“/”,还是不带呢？ Robots
<p><br></p><p><br></p>
1146
浏览
写了写Robots协议，百度蜘蛛为何不执行，到底是什么原因？ Robots 百度蜘蛛
<p>网址地址：回收布料https://www.shtengbu.com/<br>问题原因：收录了首页，内页没有一个被收录的，更新的产品和新闻页面都是原创，维持三个月了，收录的寥寥无几，我写了屏蔽分站的写Robots……
1142
浏览
关于百度死链处理机制的一个提问 Robots 404 文章 索引
经过研究发现一个网站死链多少不重要，重要的是当天百度抓取的死链数量，如果当天抓取的死链数量达到一个阈值网站就会受到惩罚，比如降权，收录变慢，收录率变低，甚至停止收录。曾经有一个站也删除了大量文章，也没事，秒收。因为百度抓取频率是变化的，有时……
1141
浏览
Robots反馈服务器配置有误，大神帮答疑？ Robots
您的服务器配置有误百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：301 但是一切正常……
1139
浏览
robots.txt 禁止了百度抓取指定连接没有作用，怎么处理？ Robots
<p>robots.txt 禁止了百度抓取指定连接没，但是每天还还是有大量的蜘蛛来抓取。各位大佬你们一般怎么处理的？<br></p>……
1138
浏览
之前不小心解析了不带www的网址，现在先用robots设置不让制作抓取不带www的网址，怎么样写？ Robots
之前不小心解析了不带www的网址，现在先用robots设置不让制作抓取不带www的网址，怎么样写？……
1137
浏览
为啥我的小说站不收录内页呢 Robots Site 吐槽 Sitemap
新站上线半个月了，老域名。主动推送+robots推送+sitemap=就是不收内容页。是不是该再等等呢。小说站www.147t.com大神帮我看看行吗。顺便吐槽一下这个百度站长工具sitemap一直在等待中，抓取频次是上个月的，索引还没出来……
1135
浏览
SEO生成网站地图的工具有哪些？ Robots
有没有功能强大点的网站地图生成工具，最好能根据robots去爬URL的那种。很多链接不想放到网站地图了。有没有好的网站工具推荐一下呢？……
1135
浏览
1135
浏览
如何设置禁止蜘蛛抓取得得cms index.html页面 CMS Robots 得得
目前蜘蛛抓取的.com和.com/index.html 如果在robots.txt 文件禁止index.html页面会不会有事 ,因为这两个是一个页面……
1133
浏览
请问这个Robots 禁止目录里面的某些地址要怎么写，谢谢 Robots
比如我的网站目录 是xxx com/play/1263-1-1.html 我想让百度抓取 xxx com/play/1263-1-1.html play/1263-1-2 play/1263-1-3 play/1263-1-4 以此……
1131
浏览
网站一个栏目一直都没有被收录现在权3? Robots 静态
我是dede搭建的，都是纯静态页面，robots也没有，主要是关键词多，还有就是靠时间养的，我是仿的站，对seo角度不是很友好啊！但是内容不是采集的都是原创的。我想知道怎么提升收录？……
1128
浏览
有没有做金融网站SEO的大神，看看我的这个站怎么回事，做了几个月了，网站还没有放出来！ 数据库 Robots 代码 文章
<p>说一下这个网站：刚刚上线的时候，代码都没有完整，很多死链接后台数据都是写死的，因此把robots.txt屏蔽了，现在已经把网站数据库调用完了，也把robots.txt文件放开了，而且每天更新伪原创文章（因为金融行业，写原创……
1124
浏览
robots文件中一个字母的错误，可能造成致命的影响，对吗？ Robots
robots文件中一个字母的错误，可能造成致命的影响，对吗？
1123
浏览
如何禁止百度收录两个动态地址？ Robots 百度收录
怎么写robots？
1120
浏览
虚拟主机不能提供301重定向 能够用robots代替301重定向 Robots 301重定向 伪静态
就是robots屏蔽掉要屏蔽的网址，让搜索引擎禁止抓取。是不是301就不用做了，空间服务商让我写伪静态规则，我不会呀……
1120
浏览
文章页面如何优化增加收录？ Robots h2 排名 代码
文章页面如何优化增加收录？它是站内优化基础，保证站点活跃度，告诉搜索引擎今天又更新了新内容，需要过来抓取，保持爬虫对你网站的新鲜度。但是很多网站内容页面只做到更新，而无法被蜘蛛索引，导致网站迟迟没有排名，更别说权重和ip了。下面我来教大家如……
1119
浏览
我是不是robots出问题了呀。。 Robots 百度蜘蛛
我把ahrefsbot用robots屏蔽了 它不再来了，然而我的百度蜘蛛为啥跟着它一起不来了呢。啥子原因哟小破站 http://www.yingniu888.cn/ ……
1117
浏览
最近大家站长后台是不是出问题了？ Robots 抓取异常
<p>1：sitmap一个月没有更新抓取数据了</p><p>2：robots 抓取异常。</p><p>是我自己的问题还是大家都这样？<br><br><……
1117
浏览
网站抓起频次突然变为0，已经连续了两天了，是怎么回事呢？ Robots 网站日志 抓取频次
<p>网站抓起频次突然变为0，已经连续了两天了，期间内容也是正常上传，没有更改过网站的任何东西，唯独上传了robots文件，但是突然两天抓取频次就将为0了，虽然之前也不高。然后查询了日志文件，发现蜘蛛又有过来爬取。这是怎么回事呀……
1113
浏览
网站的robots都已经允还显示禁止的？ Robots
网站的robots都已经允许搜索引擎两天了，咋查询的时候还是显示robots禁止搜索引擎的指令呀？……
1113
浏览
网站robobts里没有禁止蜘蛛抓取，为什么在百度搜索框里显示禁止状态 推荐热议 Robots
我这robots问题快一个多月都是这样的问题。给百度反馈的很多次，还是这样。自从换了服务器之后一直处于这个状态。换服务器已经一个月了。……
1112
浏览
robots这目录怎么写禁止收入，有点难不，亲们看下 Robots
比如我的网站目录 是/play/1263-1-1.html 我想让百度抓取/play/1263-1-1.html play/1263-1-2 play/1263-1-3 play/1263-1-4 以此类推让它可以抓取， 但不想让它……
1110
浏览
robots这么写正确吗？还差什么，麻烦补一下 Robots
<p><br></p>
1108
浏览
蜘蛛抓取 是不是只抓取正文？ Robots JS
导航上面那种不会被抓吧？js放导航上面呢？robots做个地图给蜘蛛看可以吧？各位多指导感谢！……
1108
浏览
求助，Robots没有屏蔽但是站长平台抓取测试提示屏蔽 Robots 站长平台
<p>内页明明没有设置robots屏蔽，但是就是模拟抓取显示robots屏蔽，主页可以正常抓取，</p><p></p>……
1107
浏览
网站上线2个月不收录，10年老站长第一次遇到，有哪位高手来分析分析？ Robots Site Sitemap 代码
网站上线2个多月，目前一个页面都不收录，十年的老站长还是第一次遇到，内容基本是原创的，robots没问题，sitemap什么的都正常提交，代码也检查过几遍，站长平台反馈什么回应都没有，网站名称：必经地旅游网，网址：www.bijingdi.……
1105
浏览
为什么百度快照更新了好几次就是不更新，还是原标题跟描述。兄弟们有遇到过这个问题吗？ Robots 百度快照 快照更新 百度资源平台
robots没有拦截，访问网站时确实是改了，但快照就是更新不成功，还有百度资源平台那个robots更新一直提示请求失败。……
1104
浏览
这种robots写法正不正确，求大佬指点迷津！！！ Robots
<p>zhezhong <br></p>
1103
浏览
robots文件的作用是指令搜索引擎禁止抓取某些页面，或者允许抓取某些页面，对吗？ Robots
robots文件的作用是指令搜索引擎禁止抓取某些页面，或者允许抓取某些页面，对吗？
1103
浏览
我网站的robots.txt协议有没有什么问题啊 Robots PHP
User-agent: * Disallow: /*?* Disallow:/*index.php* User-agent: JikeSpider Disallow: / User-agent: AhrefsBot Di……
1100
浏览
robots中Disallow后面文件路径加不加斜杠/有什么区别 Robots
Disallow: /specialDisallow: /special/
1099
浏览
网站近期索引量爆跌，网站也被降权，谁能帮忙分析一下原因呢？ Robots Site 排名 文章
网站之前因为robots文件误操作导致各方数据爆跌，但后面经过每天持续的正常优化维护后，网站恢复如初，权重还由一上升到二，索引量、关键词库也在持续增长，一切似乎都在往好的方面发展。但是在15号网站索引量直接减少514条，当时出现了一定的影响……
1098
浏览
网站的robots文件要怎么写？ Robots
<p><font size="4">我想让蜘蛛不爬我网站新闻栏目的其中一项，比如图中“帝唐动态”这一栏的所有新闻都不让蜘蛛爬取收录，网站的robots文件要怎么写呢。我目前自个写的robot文件没……
1098
浏览
在robots文件中屏蔽了一些链接，但搜索引擎还是会收录 Robots 索引
明明已经在robots文件中disallow了，搜索引擎还是会抓取收录，怎么让他们删除并不再抓取？
1094
浏览
这个robots书写是正确的吗？适不适合收索引擎优化 Robots
<p>刚开始学，对这方面不太懂，求前辈们帮忙解答一下</p>
1094
浏览
网站没设置robots文件，但是直接在域名后面输入/robots.txt却能显示出文件 Robots
我的网站没设置robots文件，后台也没看到有这个文件，用ftp也查看不到，但是用各种检测工具都能检测出来，并且直接在域名后面加/robots.txt还能直接进去。请教各位大佬这是什么情况呢……
