1143
浏览
robots.txt是必须要的吗？ Robots 企业站
我网站也没做robots，是不是说网站不深的话，不需要网站地图吗？比如像企业站，一般URL都不会很深，我网站也没做网站地图，robots.txt是必须要的吗？……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1142
浏览
各位大神，robots该怎么写，蜘蛛抓了很多PHP,HTML页面 Robots PHP
有分享一下借鉴一下吗？
1141
浏览
z-blog主题robots问题 推荐热议 Robots Site Sitemap
<p>为什么z-blog很多模板商、或者seo插件商都推荐下面这种robots写法？？ 除了安装文件就这两个文件为什么要全禁止了？</p><p>奇怪的是全部禁止后通过尖叫青蛙检测居然是正常的，原理是什么……
1141
浏览
百度站长平台robots无法检测了，你们都是这样吗 Robots 站长平台
百度站长平台robots无法检测了，之前还可以正常失败，最近总是提示：请求失败，我们已记录此问题并将尽快处理，请刷新页面或稍后再试。你们也是这种情况吗，现在我有些不想被抓取的页面也收录了……
1139
浏览
搜狗蜘蛛robots能不能屏蔽掉？ Robots 搜狗
可以屏蔽了搜狗蜘蛛吗？
1138
浏览
robots文件中，user-agent 代表下面的规则适用哪个蜘蛛，对吗？ Robots
robots文件中，user-agent 代表下面的规则适用哪个蜘蛛，对吗？
1137
浏览
1136
浏览
百度站长抓取诊断问题！ Robots
<p><br>提示其他错误，然后报错了IP喝更新IP和robots 过几分钟，再次诊断，又正常了，不是一个链接这样，基本都这样！</p>……
1135
浏览
新买的域名五十多天了没有任何收录痕迹，查了才知道是老域名，大家给些建议 数据库 Robots 老域名
<p>1买的域名是www.158116.com</p><p>2因为我是新手 部署网站也是某宝弄的 所以换域名的话可能又要另外花一份钱 所以请大家看看这个结果我是继续优化还是死心换域名</p>&……
1133
浏览
为什么我的robots文件检测报告是这样显示的？ Robots
<p><br></p><p>所有规则都挤在一个框框里。。。。</p>
1130
浏览
备案网站挂bc、sq推广链接会被惩罚吗？ Robots 备案
做外链转内链，然后robots禁止抓取怎么样，或者还是有别的办法吗？
1129
浏览
网站被判定为采集站，关键词没有任何排名，但收录还在 Robots 排名
<p>网站被判定为采集站，关键词没有任何排名，但收录还在。</p><p>robots禁止了采集网页，之后反馈给百度站长，给到反馈如下：</p><p></p>……
1128
浏览
蜘蛛抓取问题，麻烦大佬抽空看一下。 Robots Site 文章
<p>网站一直秒收录，昨天更新到3740。今天的日志显示从3740往后的一篇都没爬，百度谷歌都没爬今天的文章。</p><p>几点可以确定，最近一个月都没改网站任何东西，</p><p>……
1128
浏览
关于双端站的pc站的robots写法 Robots 根目录
大佬们，我是第一次做双端的站点关于robots有个问题啊因为m端是放在了pc端的根目录下面，就意味pc的robots不禁止m目录的话 那抓取会变成主域名 +m+内容html，这样的话岂不是和镜像一个意思，百度直接会说我是作弊啊。。。咋办啊 ……
1127
浏览
网页被robots屏蔽了，不是说屏蔽了以后就不会被抓取和收录了吗？ Robots 网站日志 日志分析
为什么我网站的网页被robots屏蔽了之后，我从网站日志分析后还会能看到被蜘蛛抓取和收录呢？不是说屏蔽了以后就不会被抓取和收录了吗？……
1122
浏览
请教大侠，网站地图原因？ Robots Site Sitemap
网站地图SitemapX制作网站地图时需要上传robots文件吗？
1119
浏览
刚看了一些抓取日志，发现robots屏蔽的不够彻底啊 Robots ajax PHP
/wp-admin/admin-ajax.php/wp-admin/这两个页面占据了大部分抓取量，我是用WP建站，这两个应该是后台吧我是不是都要屏蔽掉？……
1119
浏览
网站抓取频次突然降到0是怎么回事。已经三天了 Robots 抓取频次
<p>1、抓取频次突然降到0，已经三天都是这样。 </p><p>2、抓取诊断昨天还可以抓取成功，但今天一直在都处于抓取中 </p><p>3、我网站robots.txt里面并未禁止蜘……
1115
浏览
百度站长后台验证robots 显示错误500怎么回事？ Robots
<p><span>百度站长后台验证robots 显示错误500，</span>多点几次 检测并更新也不行，<span>我网站可以打开，这是怎么回事额？请问要怎么解决？</span&g……
1114
浏览
老域名，只收录首页，这几天也一直在提交资源平台 Robots 老域名 更新文章 文章
www.bomman.com 一开始我以为是robots的禁止抓取，结果不是，网站目前可查的问题也不是直接影响没有收录的原因，每天也有更新文章，而且数量也不小。……
1112
浏览
百度网址显示Robots文件禁止搜索引擎抓取，如何是好? 网站收录 Robots 文章
<p>1.9.20日开始抓取频次变为0</p><p>2.27日开始网站流量及数据断崖式下降，网站收录的文章也和栏目页都被吐出来</p><p>3.27日百度网址显示Robots文件禁……
1112
浏览
老站蜘蛛从来不爬去内页,求大神帮看robots是否设置有误？ CMS Robots 备案
<p>易优的CMS，老域名建的站且已经一年半了，首页蜘蛛每天来很多次，百度收录了三四百条（首页及栏目页面），移动权重2，但蜘蛛日志显示百度蜘蛛从不爬取内页，首页来的多，会爬栏目页面，但内页不爬去也不收录。未备案。</p&g……
1111
浏览
网站里的robots.txt文件里能不能写入两个sitemap，一个xml，一个html Robots Site Sitemap PHP
www.hzshenlong.com ps：蜘蛛会抓取.php文件么，抓取.php文件有啥用？
1110
浏览
请问大家，robots检查这里是有带个“/”,还是不带呢？ Robots
<p><br></p><p><br></p>
1110
浏览
网站一直被百度抓取wp-json怎么办？ Robots JS WordPress
<p>WordPress刚建站一个月，百度就抓取乱七八糟的链接，后面用robots.txt禁止了，最近又开始抓取wp-json，用robots禁止几天都没用，该怎么办？需要在百度反馈下吗？帮我看看网站有违规吗？@蛙哥!</……
1109
浏览
Robots的校验工具，为什么一直显示的是请求出错，请稍后重试。 Robots 淘宝
<p>是这个网站设置了整站禁抓才显示这样，还是这个工具有问题 测试的淘宝<br></p><p><br></p>……
1103
浏览
网站业务文件没有在根目录下面是否有影响 Robots 404页面 根目录 404
首先，我不太确定是否有什么不好的影响，我和建站人员沟通后了解到根目录是在我们站点文件夹下public这个文件，public这个文件夹里面放了404页面，站点地图及robots文件。访问XXX/robots.txt也确实能访问。那就确定根目录……
1101
浏览
之前不小心解析了不带www的网址，现在先用robots设置不让制作抓取不带www的网址，怎么样写？ Robots
之前不小心解析了不带www的网址，现在先用robots设置不让制作抓取不带www的网址，怎么样写？……
1101
浏览
为啥我的小说站不收录内页呢 Robots Site 吐槽 Sitemap
新站上线半个月了，老域名。主动推送+robots推送+sitemap=就是不收内容页。是不是该再等等呢。小说站www.147t.com大神帮我看看行吗。顺便吐槽一下这个百度站长工具sitemap一直在等待中，抓取频次是上个月的，索引还没出来……
1101
浏览
SEO生成网站地图的工具有哪些？ Robots
有没有功能强大点的网站地图生成工具，最好能根据robots去爬URL的那种。很多链接不想放到网站地图了。有没有好的网站工具推荐一下呢？……
1100
浏览
图片404影响网站优化吗？？ Robots 日志分析 404
<p>日志分析里，不知道什么原因有好多图片没有（图片链接都是自己网站的 ），导致出现很多404，这样影响网站优化的吗？？</p><p>把这些图片都找回来应该不现实，那这种问题该怎么处理的呢??</p……
1099
浏览
新站还没上线的话 如何设置robots？ Robots
是上线以后写还是怎么？是只需要添加一个地图链接就可以了吗？我应该如何做呢？
1099
浏览
百度不讲武德，我该如何整站删除百度收录？ Robots Site 根目录 404
公司的站点不管是pc还是wap收录都过百万，网站有很多内容已经下架但是百度还依然保留收录快照，为此有一些早已经下架陈年违规内容保留的快照被网监给找到导致公司被罚数万元，领导现在让我解决这个问题，我的做法是先：1、在网站根目录下面添加robo……
1094
浏览
移动端手机站的优化方法有哪些 Robots 浏览器 移动端 手机站
1、网站定位和页面设计2、手机网站适配声明3、网站尽可能简洁4、清晰的结构和明晰的导航5、做好浏览器兼容调试工作6、域名和robots设置7、避免使用弹窗、flash、java等行为8、页面细节优化9、url链接规范化10、高版本的手机站的……
1094
浏览
robots和url重写 Robots
谁能教我一下写robots和url重写，我有一个新的网站上线，想试一下子http://www.sxkdxl.cn，希望大家能交流交流。……
1094
浏览
同一网页收录了好几种不同的url怎么解决？ Robots 伪静态 跳转 静态
<p>301跳转已做。伪静态也做了。robots也设置了。到底是哪里出问题了呢：ooo0000.com</p><p><br></p>……
1093
浏览
文章页面如何优化增加收录？ Robots h2 排名 代码
文章页面如何优化增加收录？它是站内优化基础，保证站点活跃度，告诉搜索引擎今天又更新了新内容，需要过来抓取，保持爬虫对你网站的新鲜度。但是很多网站内容页面只做到更新，而无法被蜘蛛索引，导致网站迟迟没有排名，更别说权重和ip了。下面我来教大家如……
1093
浏览
收录率100%会不会有什么负面影响？ Robots 收录率 Site 文章
<p>发了3100篇文章，连栏目页+tag也就3400左右，site一下居然有3380 百度是有多饥渴 - -！幸好有robots挡着，要不然后台都收录了。</p><p><br></p&……
1093
浏览
百度站长网robots错误码：500 Robots
前几天网站变慢，更新把环境和程序装了一下，之后查看百度站长网更新robots，出现，您的服务器配置有误，百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500。是什么意思？……
1091
浏览
最近大家站长后台是不是出问题了？ Robots 抓取异常
<p>1：sitmap一个月没有更新抓取数据了</p><p>2：robots 抓取异常。</p><p>是我自己的问题还是大家都这样？<br><br><……
