967
浏览
robots.txt文件怎么写？ Robots
robots.txt文件怎么写？robots.txt主要写哪些东西？
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
967
浏览
网站没有robots文件，搜索结果却显示存在robots文件限制指令 Robots 301跳转 跳转
<p>网站www.qianxiquan.com</p><p>带www，和不带www的快照的内容显示不一样，另外带www的网站显示robots限制。</p><p>也做301跳转了，将……
966
浏览
robots文件要怎么写才合适 Robots
922电影http://www.922dy.cc/
961
浏览
大家网站的robots.txt的文件都是这么设置的呢？ Robots
有没有特定的格式
961
浏览
为什么百度只收录了网站首页？快照也不更新？ Robots 百度收录 快照不更新 只收录首页
自己做了一个关于养生的网站，上线一个月左右，百度收录了网站首页。之后我每天连续发文，已经过了10天，出现两个问题：1、首页快照不更新。2、网站只收录首页，内页一篇都没收录。请问是我网站(www.regimen.live)哪里设置出了问题吗？……
961
浏览
网站首页收录，但是加上“/”就不收录，是怎么回事，昨天刚改了robots文件，跟这个有关系吗 Robots 排名
<p><br></p><p><br></p><p>今天排名都下降了，哪位帮忙看一下是什么原因</p>……
961
浏览
网站屏蔽url，只能用robots文件么？ Robots
有没有其他的方法不允许蜘蛛抓取我的一些url?
959
浏览
百度站长工具robots校检的时候一直出现错误 Robots 站长工具 百度站长工具
<p><br></p><p>是不是都是这样的 </p>
959
浏览
网站收录了很多404页面及没有内容的文章页，但正常页面收录少怎么处理？ Robots 404 文章
网站www.sresky.com/改版后，出现很多404页面，提交了死链，但没用。然后在robots文件加了Disallow:，但仍旧没用，请教各位大神，1、如何让百度不收录404页面？2、没有内容的文章页该如何屏蔽掉？……
958
浏览
咨询一下站内文章移动问题 Robots 文章
我们有个站的栏目在首页有显示，但在robots里是禁抓取的，而也没有收录过，那么我是不是可以从直接移动文章到其他栏目上？……
957
浏览
robots屏蔽解除后大概需要多久可以开始收录？ Robots
如题，屏蔽了近一年。。。前几天才发现
957
浏览
大佬们我网站的tdk做的有什么毛病吗？ Robots
www.btbbkj.com 还有希望大佬们帮我分析一下我网站的robots文件，tdk有什么毛病，非常感谢
957
浏览
请问你们有百度资源平台robots文件无法更新的情况吗？ Robots 百度资源平台
<p></p>
956
浏览
百度蜘蛛每天就是来访问一下robots文件，不爬取网页 Robots 增加收录 百度蜘蛛
百度蜘蛛每天就是来访问一下robots文件，不爬取网页。谷歌一直在增加收录量，百度却一两个月了，一直就只收录了首页，其他页面不收。http://www.butterpig.top 每天都来访问一下robots就走了，这是在搞啥呢……
955
浏览
Robots监测不到，服务器配置有误，怎么解决啊？ Robots
您的服务器配置有误百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：302……
953
浏览
谷歌搜索网站名称显示没有此网页信息，按谷歌教程说有可能被robots屏蔽？ Robots
<p>谷歌搜索网站名称显示没有此网页信息。</p><p><br>然后按谷歌教程查找原因，说有可能被robots屏蔽了，下面是我网站的robots文件截图，请教大家是不是被robots文件屏蔽了……
949
浏览
robots写法问题 Robots
/gallery--n,123-grid.html /gallery--n,abcde-grid.html 要禁止抓取类似的中带逗号的网址robots该怎么写？
949
浏览
robots整站禁抓，为啥抓取诊断中抓取首页成功呢？ Robots
<p><br></p><p>这是咋回事呢 </p>
947
浏览
项融科技新建的网站不收录，有大神指出了原因但没有说怎么修改 Robots 网站不收录 代码 跳转
<p><br></p><p>如上图，项融科技pos机网址：www.xrkjpos.com，建站3个月不收录，结果有好心的网友发现了三个问题，</p><p>1.网站首页代……
945
浏览
云客多上海网站优化：网站改版后是否会掉排名呢？ Robots 404 排名
其实网站改版和掉排名并没有必然的关系，在不更改域名的情况下，对网站版面重新设计排版，增加用户体验度。伴随改版而来的网站链接的变更，下面云客多小编介绍下需要重点考虑的问题。 一、网站日志分析 网站在改版后，需要每天关注新网站的动态……
944
浏览
robots写法疑问 Robots
（目的 是只禁止/html/BaoJia.html页面）这样写： Disallow: /html/BaoJia.html 后是否还需要添加Allow: /html/……
944
浏览
网站百度快照抓取不到CSS样式，怎么修改？ Robots 百度快照
<p><br></p><p><br></p><p>robots文件也没有限制抓取，但是抓取不到CSS样式，是百度的问题还是网站的问题</p>……
943
浏览
写了robots怎么还是被百度抓取收录了？ Robots
这个百度是有bug，写了robots怎么还是被百度抓取收录了？
942
浏览
DZ论坛屏蔽动态链接可以吗？ Robots PHP 文章 静态
我的网站一个文章收录了俩。。一个是动态的，一个是伪静态。可以把动态链接用robots屏蔽吗？具体应该是 Disallow: / /forum.php?mod=viewthread&tid=* 这样可以把？这是动态的，我设置伪静……
940
浏览
新站上线之前需要做哪些优化？ Robots 404页面 404 SEO优化
总结一下：目前做的优化 一、 网站地图添加二、robots 添加，三、404页面设置四、三大标签已设置五、百度站长提交【百度统计没装】问： 还需要做哪些优化呢，站点：成都seo优化：www.tusijm.cn……
939
浏览
百度蜘蛛就只抓robots咋回事？ Robots 百度蜘蛛
<p>每天来一下，就抓下主页，抓几下robots，就收录了主页，内页没收，每天就对着robots一顿抓，是协议写的有问</p><p>题吗，大佬帮忙给看看</p>……
938
浏览
这种情况，可以在robots文件里面写屏蔽吗？应该怎么写啊 Robots
<p></p>
936
浏览
新站计划上线，还没修改完成，是闭站还是robots屏蔽 Robots 备案
新站计划上线，还没修改完成，但是近期在查备案怕被查关备案号，打算上个单页，是闭站还是robots屏蔽收录……
935
浏览
robots.txt这样写多不对Disallow: Robots
robots.txt这样写多不对Disallow:
932
浏览
929
浏览
robots要不要禁止css和js？发现蜘蛛频繁爬这些文件 Robots JS
www.tengyitieyi.com robots要不要禁止css和js？发现蜘蛛频繁爬这些文件
927
浏览
现在搜索引擎都不去抓爬robots.txt了吗 Robots 网站日志 搜狗
访问了四个网站几天的网站日志，但都没发现百度、360、搜狗这些搜索引擎有爬取robots.txt的痕迹，现在都不抓爬了？……
926
浏览
robots屏蔽抓取后，修改地址后，相似路径是否会屏蔽？ Robots
网站上线后设了robots全站屏蔽.在大概第7天，把www.xxx.com/html/abc,中间那一层的html去掉,现在的链接是www.xxx.com/abc.因为不是在上传到空间之前就把/html这层去掉。请问下，到时候robots让……
926
浏览
robots文件限制百度抓取.会导致收录掉吗？ Robots
7月2日robots文件禁止抓取,当天修改后到今天7月6日都是抓取错误.应该是百度的缓存,但是在这几天百度给我收录全部掉了！你们有没有这么个情况？……
924
浏览
robots文件的疑问？ Robots
<p>User-agent: * </p><p>Disallow:</p><p><br></p><p>这样写是什么意思？</p>&l……
924
浏览
如何写一个合理的robots.txt文件 Robots
如何写一个合理的robots.txt文件
922
浏览
什么是meta robots 标签？meta robots 标签的写法 Robots 淘宝
meta robots 标签的写法https://www.alwdzr.com
