Robots

Robots

中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
网站被k CMS 网络营销 SEO工具 网站收录 外链建设 用户体验 软文 SEO诊断 跳出率
夫唯
话题优秀回答者
1325 问题
2042 浏览
李 磊 回答了该问题 · 1 人参与回答 · 6 年前

robots文件这样写对吗？ Robots

User-agent: * Disallow: /admin/ Disallow: /cache/ Disallow: /config/ Disallow: /include/ Disallow: /lang/ Disallow: /pub……

2018 浏览
逍遥子 回答了该问题 · 2 人参与回答 · 6 年前

robots写屏蔽页面被提交会收录不 Robots Tag标签 JS

用的WP程序，robots写法，我屏蔽了NNN多多多页面，留存首页 分类 内容，TAG标签很少用上，就不管了。问题是，内容页左侧有个点击去评论导航，自动滚动 下方评论区后原网址   .html  后缀会变成 .html#comments虽然……

2017 浏览
喜欢海 回答了该问题 · 3 人参与回答 · 6 年前
悬赏 1元

robots这样写对不对？ Robots 搜狗

要写个robots文件，目的是禁止bing 谷歌和360索引，其余的百度、神马和搜狗等都允许，这样写对不对？User-agent: * Disallow: /zb_system/ Disallow: /zb_users/avatar/ Di……

2012 浏览
蘋果與蛇 回答了该问题 · 15 人参与回答 · 5 年前
悬赏 8元

搜索网站首页链接，找不到网站，site不在前三页，如何处理？ Robots Site 伪原创

网站：http://ftldc.com，上个月下旬25号之后，貌似网站排名掉了一些，28号之后，首页掉了，今天搜索首页链接找不到网站，site下首页不在前三。收录变化不大。之前操作：20多号弄了内页调整，将文章页的热门文章，换成猜你喜欢、热……

2010 浏览
jorsun-zz 回答了该问题 · 70 人参与回答 · 4 年前

seo新手入职半个月，我靠实力当上了主管 Robots 排名 代码 文章

<p>我们团队只有4个编辑人员，我是其中一个，没有专门负责seo的，按老板的话就是大家虽然都是编辑，但是编辑就是做优化，所以大家都是干优化的事，没有主管，每天发完10篇文章就完事了，由于我也不太懂seo，看到一篇文章说在robo……

1996 浏览
王海 回答了该问题 · 18 人参与回答 · 5 年前
悬赏 1元

robots文件怎么写最规范？ Robots 死链接

我在优化行星减速机厂家http://www.newgearcn.com/这个网站的时候，发现蜘蛛总是抓取一些不相关的页面，需要抓取的又没有抓取到，那么robots蜘蛛协议文件具体该要怎么写呢？哪些需要完全禁止，哪些需要引导蜘蛛抓取，动态页面……

1991 浏览
帕齐咨询 回答了该问题 · 24 人参与回答 · 4 年前
悬赏 8元

怎么渲染屏蔽蜘蛛 Robots

<p>每天早上一起床看一下蜘蛛统计 上百万  再一看日志都是 111.206.221.*     111.206.198.*   都是这两个IP段的蜘蛛  后来查了一下 是渲染蜘蛛 请问一下怎么能把这些蜘蛛给屏蔽掉呢？已经设置了……

1977 浏览
赵团辉 回答了该问题 · 10 人参与回答 · 5 年前

为什么说SEO很重要 CMS Robots 视频 排名

搜索引擎优化的一个重要方面是让您的网站易于用户和搜索引擎机器人理解。虽然搜索引擎变得越来越复杂，但它们仍然无法像人类一样看到和理解网页。搜索引擎优化可以帮助引擎找出每个页面的内容，以及它对用户的用处。 反对SEO的共同论点 一:我们经常听到……

1975 浏览
奋斗 回答了该问题 · 4 人参与回答 · 6 年前
悬赏 3元

优化步骤分析 Robots Nofollow 次导航 404

这是我的网站www.xiladaili.com（新站）,因为我网站比较简单。所以我做了首页三要素、一句话次导航、nofollow标签、301、404、robots.txt等，我想知道剩下的是不是就是每天发新闻了呀 ……

1973 浏览
搜外用户 发布了该问题 · 28 人参与回答 · 4 年前

网站安装好简单测试了一下没啥问题才上的ROBOTS，就在这个把小时空挡收录了咋办 推荐热议 Robots 文章

彻底服了，半个月不收录也没像这样难受过..网站安装好简单测试了一下没啥问题才上的ROBOTS，就在这个把小时空挡收录了咋办随便起了个标题上传了篇文章，感觉没啥问题就上了禁止抓取，开始做网站，做了几天发现早就收录了，就在刚安装好测试那个把小时……

1971 浏览
冇搞头 发布了该问题 · 10 人参与回答 · 5 年前
悬赏 5元

网站pc端不收录，自动推送、手动提交、sitemap、什么都做了 Robots Site MIP

收录的情况一直让我很头疼，移动收录还好有熊掌天级和周级提交，但是pc收录的话，例如你今天更新的文章一般要等3个月后才收录。不知道是什么情况，站长的自动推送、手动提交、sitemap、robots都弄了，移动适配也做了，就是不肯收录，偶尔呢能……

1931 浏览
输送带批发 回答了该问题 · 13 人参与回答 · 4 年前
悬赏 1元

请教大佬：为什么不带www网址被收录，排名越来越好，且标题只显示企业官网。带www排名越来越后。 Robots 排名

<p>不带www的网址被收录，排名第一，且标题只显示企业官网。（从来没有把标题改成企业官网四个字，且不带www的网站robots权限已放开）带www的网址www.zhongmei66.com前几天排在十几名，今天没排名了。见图。……

1924 浏览
李加益 回答了该问题 · 7 人参与回答 · 6 年前
悬赏 3元

请大家一起来看看这个问题！ Robots 友情链接 PHP

今天 在交换友情链接的时候发现对方网站中robots.txt文件存在一个问题，里面的内容如下：User-agent: * Disallow: /gb.php Disallow: /gb2.php Disallow: /parse.php D……

1923 浏览
陈昌辉 回答了该问题 · 10 人参与回答 · 5 年前

请问新站多久能有百度关键词排名？网站文章更新频率、质量是怎样的？ Robots 搜狗

我现在维护的网站域名已经1年9个月了，但是一直没打理，之前网站文章内容都是摘录的。我刚开始打理这个网站，为防止之前摘录的文章防止网页质量，已经将那些文章编写在robots文件，禁止爬虫爬取了。现在没有关键词排名，打算一直发布高质量的伪原创内……

1916 浏览
橄榄绿叶 回答了该问题 · 9 人参与回答 · 4 年前

搜狗老是不收录网站首页该怎么办？ Robots 搜狗

<p>我的是公司网站（www.wanhu888.com）百度已经收录23万多，360收录8万多，但就搜狗零搜索，robots也没限制抓取，申诉、每天提交链接，做外链都没用，恢复站站邮件给予答案是：</p><p&……

1915 浏览
hdkqzl 回答了该问题 · 1 人参与回答 · 5 年前

究竟是什么原因，百度蜘蛛一直爬一个网站根本没有的目录？ Robots 网站程序 ajax

每天都会去看一下蜘蛛的爬行，发现最近发现一直在爬一个/ajax/的目录，但是这个上网站程序里是没有的，服务器里也是没有的，为什么能爬到这里？是因为网站曾经改版的原因吗？但是如果这个目录现在都已经删除了，为什么还是会去抓爬这个目录？现在我ro……

1894 浏览
南风不及你温柔 回答了该问题 · 20 人参与回答 · 5 年前
悬赏 1元

网站seo——百度会读取nofolltow的内容吗？ Robots Nofollow

我网站有一个重复链接有很多（首页有180多个），已经出发了重复链接过多导致降权了。不过这个标签也有作用，不好全部去掉，那么我在这里加nofolllow标签不传递权重可以吗？robots那个不行，那个网址是个很重要的链接，不能屏蔽。要是一个一……

搜外微信
提供服务
常用链接
产品实验室
©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司