519
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1344
浏览
从朋友那边，收了一个2年的博客站，改版后2周了 不收录，有没有什么见解呢？ Robots Site PHP 代码
<p>各位大神，帮忙分析一下，小弟在此谢过了。<br></p><p>大概2周前，正式让解析到我服务器。替换之前搭建的demo站点，由于本地测试中 它原有博客现有程序 使用盗版 改动官方底层代码……
488
浏览
怎么查看Robots协议是否有抓取网站的哪些页面呢，以及哪些页面没有被抓取。 Robots 文章
怎么利用Robots协议查看网站新闻动态页是否有抓取或者收录文章内容呢？怎么查
494
浏览
469
浏览
老站半个月蜘蛛疯狂爬，新站隔天就收录了。 Robots 排名
真是见了个鬼了，新站隔了一天就收录了。没有做过外链，才刚上传，百度居然收录了，还有排名，真是。。。。。上面内容都还没做。忘记用ROBOTS屏蔽了。……
559
浏览
这个网站是黑帽吗？能不能换友情链接？ Robots Site PHP 黑帽
在滴滴友链看到的，site不到首页，robots文件看到这样一行，根据我浅薄的语义化理解 ，是友情链接的意思吗？Disallow: /plus/flink.phphttp://www.250seo.com/希望大神们，给分析一下。跪求了……
541
浏览
网站从4与26号开始索引，一直没有变化，是正常的吧，我就怕是在robots加不爬*？*加的 Robots 索引量 索引
<p>之前在网上，搜到好多人加这个，结果导致网站不收录的</p><p>网站:www.chlbh.cn</p><p>怕自己网站也遇到这种情况，毕竟之前，索引量变化还是挺频繁的<……
609
浏览
网站抓取诊断没有问题，抓取频次一直为0，日志一直在抓取robots Robots 抓取频次
https://www.3meva.com/天天都在做外链 刚上线还有抓取频次 上线两天就一直0了
1033
浏览
我已经提交死链了 但是百度蜘蛛每天还去抓取 这个该怎么办？ Robots 百度蜘蛛
<p>我已经提交死链了 但是百度蜘蛛每天还去抓取 这个该怎么办？ （</p><p>Robots也有做屏蔽）<br></p><p></p>……
499
浏览
486
浏览
咨询一下站内文章移动问题 Robots 文章
我们有个站的栏目在首页有显示，但在robots里是禁抓取的，而也没有收录过，那么我是不是可以从直接移动文章到其他栏目上？……
666
浏览
一个问题，没有robots文件对网站收录有影响吗 网站收录 Robots
网站没有robots文件
514
浏览
百度蜘蛛现在就只爬取首页和robots.txt文件，有知道的大佬知道怎么回事么 Robots 百度蜘蛛
刚开始百度蜘蛛会爬取我网站的内容页，现在每天很少爬取内容页了，全在爬首页跟robotx.txt文件，请知道的大佬指点小弟一二。谷歌还是收录的快，没几天全部收录并且排第一了，百度这边一点信儿都没有。😡……
432
浏览
请教一个社交站点SEO优化及url设置问题 Robots 同IP SEO优化 索引
主站商城A，在做个网站B，B仅做目录页面，将目录页中的产品链接到相应A中的产品页面。社交网站中一个账号只能一个域名，现在注册10个不同的域名，分别做301，这样社交中的链接点击后先到B，客户再点击产品后导到主站A。如果A和B放在同一服务器下……
1357
浏览
百度资源平台robots检测出问题了，你们呢 Robots 百度资源平台
<p><br></p>
1062
浏览
网站收录突然间被全部被百度屏蔽展现了 网站收录 Robots Site
今天检查网站时,突然发现site+域名 收录全部没有展现了，测试了一下抓取正常,robots也正常,网站基本是每天正常维护，没有使用任何违规手法，这种情况除了反馈还有没有办法解决呢？……
886
浏览
robots这样写是否正确？搜外小伙伴麻烦指点下正确写法 Robots
<p>搜外小伙伴帮看看robots写法对不对，</p><p>屏蔽SEKA这个目录，允许其中的几个栏目页被蜘蛛抓取</p><p><br></p>……
609
浏览
Baiduspider抓取网站临时域名，SEO优化规范该如何做？ Robots 网站日志 网站运营 SEO优化
在日常网站运营中，观察网站日志经常看见百度蜘蛛抓取网站主机地址为“默认绑定网站主机的临时域名”，在状态301或200下返回正常解析URL链接！问题：多数状态301的抓取下，是否引起搜索引擎蜘蛛的信赖感;应该用什么样的方式避免这种问题，rob……
497
浏览
网站之前上传了robots 百度站长平台也可以检测到但是网站关停了一段时间之后 Robots 站长平台
在解析到之前的服务器上，在检测都显示“服务器配置错误 403” 这个是什么情况
483
浏览
搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？ Robots 搜狗
搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？
474
浏览
robots修改后，百度要多久后更新？ Robots
更新robots.txt 添加了新的禁止抓取目录，百度要多久更新？已经更新robots三周了，之前抓取的动态地址还是没有禁止。……
551
浏览
真假蜘蛛怎么分辨，查询到百度老抓取一些不存在的文本路径怎么处理？ Robots 真假蜘蛛
<p>robots文本都已经屏蔽掉这些路径了，为什么还是不断的有在爬，主要还是有478条数据！</p><p><br></p><p><br></p>……
467
浏览
robots文本如何屏蔽带?结尾的链接，怎么编写？ Robots
robots文本如何屏蔽带?结尾的链接，怎么编写？
576
浏览
网站更换备案，期间用robots屏蔽蜘蛛可以吗？ Robots 备案
网站更换备案，期间用robots屏蔽蜘蛛可以吗？
489
浏览
搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？ Robots 搜狗 排名
<p>搜狗的指数那么大，怎么就没有排名呢？</p><p><br></p>
651
浏览
百度最近是不是又抽风了？？？ Robots
百度最近是不是又抽风了？？？robots 检测失败 索引多天都不更新
454
浏览
robots文本如何屏蔽带?结尾的链接，怎么编写？ Robots
<p><br></p>
511
浏览
关于robots代码问题 Robots 代码
<p>想要禁止蜘蛛抓取/user下的所有页面 </p><p>不知道这样写是否正确呢</p><p>但是提交给百度总是提示请求失败</p><p></p&g……
449
浏览
703
浏览
783
浏览
653
浏览
不是自己的网站发布文章被收录了，这个需要如何的禁止收录呢？ Robots Nofollow 文章
在网上看了很多回答。url+Nofollow和 修改robots.txt。后者是需要自己网站才能这样修改吧？前者怎么做呢？新人不是很明白……
614
浏览
关于robots的写法，对先后顺序有没有要求，如图 Robots 百度蜘蛛
<p>如只允许百度蜘蛛，禁止其他一切蜘蛛，这两种写法哪种是正确的呢？</p><p>1、先允许后禁止</p><p><br></p><p>2、先禁止……
602
浏览
新站上线之前需要做哪些优化？ Robots 404页面 404 SEO优化
总结一下：目前做的优化 一、 网站地图添加二、robots 添加，三、404页面设置四、三大标签已设置五、百度站长提交【百度统计没装】问： 还需要做哪些优化呢，站点：成都seo优化：www.tusijm.cn……
553
浏览
网站用robots屏蔽了所有蜘蛛，但是还是没变化 Robots
User-agent: *Disallow: /这个应该没错啊
706
浏览
DZ论坛屏蔽动态链接可以吗？ Robots PHP 文章 静态
我的网站一个文章收录了俩。。一个是动态的，一个是伪静态。可以把动态链接用robots屏蔽吗？具体应该是 Disallow: / /forum.php?mod=viewthread&tid=* 这样可以把？这是动态的，我设置伪静……
