1034
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
1034
浏览
robots这样写没有问题吧 Robots
<p></p>
1033
浏览
网站收录了很多404页面及没有内容的文章页，但正常页面收录少怎么处理？ Robots 404 文章
网站www.sresky.com/改版后，出现很多404页面，提交了死链，但没用。然后在robots文件加了Disallow:，但仍旧没用，请教各位大神，1、如何让百度不收录404页面？2、没有内容的文章页该如何屏蔽掉？……
1032
浏览
robots整站禁抓，为啥抓取诊断中抓取首页成功呢？ Robots
<p><br></p><p>这是咋回事呢 </p>
1031
浏览
复制内容如何让搜索引擎快速收录呢？ Robots 淘宝 Site 索引
像淘宝，天猫都是用robots.txt协议禁止搜索引擎抓取收录。这样的话我把淘宝天猫的产品及产品介绍详情复制出来，放到自己网站上。测试过是收录的，就是收录量太少，我用的Wordpress程序做网站，而且基本的seo也会去做，sitemap也……
1028
浏览
我网站的robots.txt 禁止了百度快照收录了吗 Robots 百度快照
<p>我网站的robots.txt 禁止了百度快照收录了吗</p><p><br></p><p><br></p><p><br&g……
1027
浏览
网站百度快照抓取不到CSS样式，怎么修改？ Robots 百度快照
<p><br></p><p><br></p><p>robots文件也没有限制抓取，但是抓取不到CSS样式，是百度的问题还是网站的问题</p>……
1027
浏览
robots文件限制百度抓取.会导致收录掉吗？ Robots
7月2日robots文件禁止抓取,当天修改后到今天7月6日都是抓取错误.应该是百度的缓存,但是在这几天百度给我收录全部掉了！你们有没有这么个情况？……
1026
浏览
robots.txt文件怎么写？ Robots
robots.txt文件怎么写？robots.txt主要写哪些东西？
1024
浏览
项融科技新建的网站不收录，有大神指出了原因但没有说怎么修改 Robots 网站不收录 代码 跳转
<p><br></p><p>如上图，项融科技pos机网址：www.xrkjpos.com，建站3个月不收录，结果有好心的网友发现了三个问题，</p><p>1.网站首页代……
1024
浏览
请问你们有百度资源平台robots文件无法更新的情况吗？ Robots 百度资源平台
<p></p>
1022
浏览
这种情况，可以在robots文件里面写屏蔽吗？应该怎么写啊 Robots
<p></p>
1022
浏览
为什么百度只收录了网站首页？快照也不更新？ Robots 百度收录 快照不更新 只收录首页
自己做了一个关于养生的网站，上线一个月左右，百度收录了网站首页。之后我每天连续发文，已经过了10天，出现两个问题：1、首页快照不更新。2、网站只收录首页，内页一篇都没收录。请问是我网站(www.regimen.live)哪里设置出了问题吗？……
1022
浏览
网站设置了robots禁止抓取，为什么还能抓取到？ Robots
网站设置了robots禁止抓取，为什么还能抓取到？
1021
浏览
谷歌搜索网站名称显示没有此网页信息，按谷歌教程说有可能被robots屏蔽？ Robots
<p>谷歌搜索网站名称显示没有此网页信息。</p><p><br>然后按谷歌教程查找原因，说有可能被robots屏蔽了，下面是我网站的robots文件截图，请教大家是不是被robots文件屏蔽了……
1019
浏览
robots文件要怎么写才合适 Robots
922电影http://www.922dy.cc/
1019
浏览
为什么robots中设置了禁止百度收录我网站的内容，为何还出现 Robots 百度收录
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
1018
浏览
网站没有robots文件，搜索结果却显示存在robots文件限制指令 Robots 301跳转 跳转
<p>网站www.qianxiquan.com</p><p>带www，和不带www的快照的内容显示不一样，另外带www的网站显示robots限制。</p><p>也做301跳转了，将……
1018
浏览
网站首页收录，但是加上“/”就不收录，是怎么回事，昨天刚改了robots文件，跟这个有关系吗 Robots 排名
<p><br></p><p><br></p><p>今天排名都下降了，哪位帮忙看一下是什么原因</p>……
1017
浏览
DZ论坛屏蔽动态链接可以吗？ Robots PHP 文章 静态
我的网站一个文章收录了俩。。一个是动态的，一个是伪静态。可以把动态链接用robots屏蔽吗？具体应该是 Disallow: / /forum.php?mod=viewthread&tid=* 这样可以把？这是动态的，我设置伪静……
1015
浏览
现在搜索引擎都不去抓爬robots.txt了吗 Robots 网站日志 搜狗
访问了四个网站几天的网站日志，但都没发现百度、360、搜狗这些搜索引擎有爬取robots.txt的痕迹，现在都不抓爬了？……
1014
浏览
咨询一下站内文章移动问题 Robots 文章
我们有个站的栏目在首页有显示，但在robots里是禁抓取的，而也没有收录过，那么我是不是可以从直接移动文章到其他栏目上？……
1014
浏览
1013
浏览
大家网站的robots.txt的文件都是这么设置的呢？ Robots
有没有特定的格式
1013
浏览
百度蜘蛛每天就是来访问一下robots文件，不爬取网页 Robots 增加收录 百度蜘蛛
百度蜘蛛每天就是来访问一下robots文件，不爬取网页。谷歌一直在增加收录量，百度却一两个月了，一直就只收录了首页，其他页面不收。http://www.butterpig.top 每天都来访问一下robots就走了，这是在搞啥呢……
1011
浏览
大佬们我网站的tdk做的有什么毛病吗？ Robots
www.btbbkj.com 还有希望大佬们帮我分析一下我网站的robots文件，tdk有什么毛病，非常感谢
1011
浏览
1008
浏览
云客多上海网站优化：网站改版后是否会掉排名呢？ Robots 404 排名
其实网站改版和掉排名并没有必然的关系，在不更改域名的情况下，对网站版面重新设计排版，增加用户体验度。伴随改版而来的网站链接的变更，下面云客多小编介绍下需要重点考虑的问题。 一、网站日志分析 网站在改版后，需要每天关注新网站的动态……
1007
浏览
大佬们，新站不到半个月这种情况你们会怎样处理？ Robots
<p><br></p><p>需要用robots屏蔽吗？</p>
1006
浏览
写了robots怎么还是被百度抓取收录了？ Robots
这个百度是有bug，写了robots怎么还是被百度抓取收录了？
1006
浏览
Robots监测不到，服务器配置有误，怎么解决啊？ Robots
您的服务器配置有误百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：302……
1006
浏览
新站计划上线，还没修改完成，是闭站还是robots屏蔽 Robots 备案
新站计划上线，还没修改完成，但是近期在查备案怕被查关备案号，打算上个单页，是闭站还是robots屏蔽收录……
1005
浏览
1003
浏览
robots写法疑问 Robots
（目的 是只禁止/html/BaoJia.html页面）这样写： Disallow: /html/BaoJia.html 后是否还需要添加Allow: /html/……
1003
浏览
robots屏蔽抓取后，修改地址后，相似路径是否会屏蔽？ Robots
网站上线后设了robots全站屏蔽.在大概第7天，把www.xxx.com/html/abc,中间那一层的html去掉,现在的链接是www.xxx.com/abc.因为不是在上传到空间之前就把/html这层去掉。请问下，到时候robots让……
1001
浏览
一个目录下有两千多的页面，但是却没有一个是有排名的，这到底是哪里出错？ Robots 排名
<p>2000多的页面，里面应该也有600多的收录，可问题是一个排名都没有！！！</p><p>这样下去根本就是毫无作用啊！</p><p>大半年都没什么收录了，现在维持也维持不了多久……
1000
浏览
新站上线之前需要做哪些优化？ Robots 404页面 404 SEO优化
总结一下：目前做的优化 一、 网站地图添加二、robots 添加，三、404页面设置四、三大标签已设置五、百度站长提交【百度统计没装】问： 还需要做哪些优化呢，站点：成都seo优化：www.tusijm.cn……
992
浏览
如何写一个合理的robots.txt文件 Robots
如何写一个合理的robots.txt文件
