570
浏览
请问网站地图支持放到站外么 Robots 百度收录 二级域名 索引
入职一家公司不久，网站结构非常混乱，很多重复链接，他们还把重复的链接放到了网站地图里，百度收录的乱七八糟，各种链接。网站是外包给网络公司的，网络公司是个分公司，没技术处理真正的技术问题。处理个301他们都不会，还要我查了手册写好文件发给他们……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
569
浏览
网站改版老站点301到新站点，新老站点都存在独立robots文件 Robots 网站改版
网站改版老站点301到新站点，新老站点都存在独立robots文件，在这种情况下百度是先判断robots权限在先还是先根据301规则在先？……
569
浏览
请问大家，公司优化一直发布这些公司相关的新闻，感觉对优化的关键词一点帮助没有 Robots
请问大家，公司优化一直发布这些公司相关的新闻，感觉对优化的关键词一点帮助没有，我想写robots的话应该怎么个写法https://www.walltechsystem。Cn/news/qiyexinwen……
568
浏览
robots文本如何屏蔽带?结尾的链接，怎么编写？ Robots
robots文本如何屏蔽带?结尾的链接，怎么编写？
567
浏览
搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？ Robots 搜狗 排名
<p>搜狗的指数那么大，怎么就没有排名呢？</p><p><br></p>
565
浏览
网站之前上传了robots 百度站长平台也可以检测到但是网站关停了一段时间之后 Robots 站长平台
在解析到之前的服务器上，在检测都显示“服务器配置错误 403” 这个是什么情况
563
浏览
563
浏览
怎么查看Robots协议是否有抓取网站的哪些页面呢，以及哪些页面没有被抓取。 Robots 文章
怎么利用Robots协议查看网站新闻动态页是否有抓取或者收录文章内容呢？怎么查
563
浏览
网站上线20多天了 抓取诊断一直失败 Robots 备案
已经排查过了没有屏蔽蜘蛛，robots也是允许抓取的，5.1号上线的抓取诊断就显示失败，点击了报错，提示几分钟就更新好，但是过了8天还是一直抓取失败，所以在平台反馈，反馈在12号回复说转相关工作人员分析处理，这又过了10天了，继续追问反馈 ……
562
浏览
一个目录下有两千多的页面，但是却没有一个是有排名的，这到底是哪里出错？ Robots 排名
<p>2000多的页面，里面应该也有600多的收录，可问题是一个排名都没有！！！</p><p>这样下去根本就是毫无作用啊！</p><p>大半年都没什么收录了，现在维持也维持不了多久……
558
浏览
百度一直抓取已经删除的链接，如何减少抓取这样的链接？ Robots 网站内链 404 索引
百度一直抓取已经删除的链接，抓取404链接的占比已经是200链接的好几倍了，如何减少抓取这样的链接？在网站内链和网站地图已经剔除了这些链接，只有百度在疯狂的抓取，其它搜索引擎都不会大量抓取已经删除的链接。由于url规则因素无法通过robot……
558
浏览
百度统计检测不到robots是怎么回事 Robots 百度统计 阿里云
我们网站现在服务器搬到阿里云上了 这两天抓取时间都变成了0，后来打开robots也没问题，统计后台缺检测不到服务器是嘛情况……
557
浏览
我的网站https就检测不到robots文件，而http就能检测到，请问要怎么设置能让https也能 Robots
<p> 我的网站https就检测不到robots文件，而http就能检测到，请问要怎么设置能让https也能</p><p></p>……
556
浏览
请问一下大家像这种要不要添加到robots里面呢或者是做301 Robots
<p><br></p>
556
浏览
新网站怎样才能快速上排名呢？ Robots 排名 静态
怎么才能让新站快速有排名呢？（1）什么是新站：新站是上线时间段，没有排名或者排名比较浮动的网站。按照网站的时间来定上线1个月--6个月都是新站期，新站期是不稳定的，是百度对网站的考核期。（2）新站排名难的原因无非是以下这些点：新站内容比较少……
553
浏览
关于百度收录存在相同收录的问题。 Robots 百度收录 ajax PHP
<p><br><br></p><p>网站存在相同的收录，这个在程序中没法用301来实现，因为有AJAX的调整用路径也是那个，如果用301可能会出问题。</p><p……
553
浏览
手机端适配的是后台二级目录，内容质量为伪原创但是收录挺好，可为什么都是无排名？ Robots 伪原创 排名
<p>主要的还是一级目录不收录，反而二级目录的收录好，这与robots不相关吧！</p><p><br></p>……
553
浏览
robots文件已经更新一个月了，新禁止的文件还在抓取状态？ Robots
为什么我网站上的robots文件已经更新一个月了，新禁止的文件还在抓取状态？
553
浏览
我的这个robots文件设置的有问题吗？ Robots 索引
<p>我的这个robots文件设置的有问题吗？</p><p>蜘蛛一直不来抓取，语句没有禁止搜索引擎抓取吧？</p><p></p>……
551
浏览
关于robots文件屏蔽链接的写法，帮忙看看 Robots
请问大家，这样是不让蜘蛛抓取DEF文件夹内容，ABC文件夹不受影响。对吧User-agent: *Disallow: /ABC/DEF/……
550
浏览
谷歌搜网站名称“没有此网页的信息”，提示我robots文件屏蔽了首页？ Robots 宝塔 宝塔面板
<p>谷歌搜网站名称“赤道365论坛”，显示“没有此网页的信息”。<br><br><br><br></p><p>网站带www和不带www的域名都进行了解析，……
550
浏览
以自动刷新方式更改内容页时间因子算不算作弊？ Robots 排名 文章
<p>某网站的内容页时间因子没有固定在发布日期，而是每被访问一次就自动刷新到当前时间，这样算不算作弊？还是这样有利于优化排名？</p><p><br></p><p>案例：……
550
浏览
549
浏览
网站url动态改版为静态形式，怎么处理，尽量减少影响？ Robots 伪静态 静态
一个站之前一年用的是动态路径，现在想换成静态路径，我要设置好了伪静态就robots屏蔽呢，还是等收录了一些静态页面在屏蔽呢？……
547
浏览
544
浏览
robots文本如何屏蔽带?结尾的链接，怎么编写？ Robots
<p><br></p>
544
浏览
翻页的url有必要静态化吗？ Robots 静态
网站很多内容，都有分页目前都是动态url，不过robots已经禁止抓取动态url，有必要静态化吗，静态化的好处是什么？不会产生很多相似页面的情况吗。……
543
浏览
Sitemaph 和 Robots 都为0，这对优化的影响大不大？ Robots Site
Sitemaph 和 Robots 都为0，影响大不大
543
浏览
543
浏览
robots经常改收录 会有影响吗？ Robots 索引
改robots,对搜索引擎有影响吗。
542
浏览
网站收录域名后面被加了一下参数 请问是怎么回事 网站收录 Robots
<p></p><p><br></p><p>首页被加了很多不同参数被收录了 不知道怎么回事 请问要怎么处理 robots里已经禁止/?*的抓取了 </p>……
542
浏览
网站长期无变化更新怎么办？ Robots
网站最近一个月时间里，保持稳定正常更新优化，每天也有提交链接到百度，网站服务器稳定没有问题，Robots协议也没有禁止蜘蛛抓取，就是没有收录量增加？……
542
浏览
542
浏览
541
浏览
百度站长Robots检测好像没有用啊 Robots
<p><br></p><p><br></p><p>一直显示请求出错，请稍后重试</p>
541
浏览
今天看了日志，有几个问题请教一下搜外大神，路过的大神指点指点迷津吧！ Robots 友链
www.wsf1234.com非图片站的蜘蛛抓取图片频率过高，该不该改善这个问题？应该改善又该如何改善？需要在robots协议上做什么调整？蜘蛛抓取后真实访问率46%算什么水平，过高或过低？，除了布局更优质的外链和友链，还有什么优化手法？目……
536
浏览
到底哪些是不想被抓取的页面，都有哪些呢？ Robots 索引
robots屏蔽问题我一直不解，可能是因为我不会设置robots.txt文件的原因。其他人都说可以用robots去屏蔽不想被搜索引擎抓取的页面，但我很迷糊，到底哪些是不想被抓取的页面，都有哪些呢？求告知，我也希望自己能够提升这块的操作能力。……
