7
浏览
网站改版后是否会掉排名呢？ Robots 404 排名
其实网站改版和掉排名并没有必然的关系，在不更改域名的情况下，对网站版面重新设计排版，增加用户体验度。伴随改版而来的网站链接的变更，下面云客多小编介绍下需要重点考虑的问题。 一、网站日志分析 网站在改版后，需要每天关注新网站的动态……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
8
浏览
SEO还能走下去吗？顺便说一下快排 Robots 快排 404
SEO还能走下去吗？现在的seo能做的有以下：站内十大因素，老域名和稳定服务器 301 404 robots 网站地图 关键词密度 关键词布局 优化url层级3……
434
浏览
这个robots书写是正确的吗？适不适合收索引擎优化 Robots
刚开始学，对这方面不太懂，求前辈们帮忙解答一下
714
浏览
<meta name="robots" content="nofollow"/> Robots Nofollow 代码
关于nofollow的问题，这个代码是写在meta标签上，用来告诉搜索引擎不要抓取网页上的所有外部和包括内部链接的，那前面的robots是什么意思呢？是要写在robots文件里，还是有其他意思？……
9
浏览
求大神分享robots.txt比较全面的文本 Robots
求求大神分享robots.txt比较全面的文本
80
浏览
565
浏览
搜狗蜘蛛（Sogou web spider）抓取robots 400问题 Robots
站长是https 站长，根据本人排场，搜狗蜘蛛抓取robots.txt的时候，使用url是：http://www.bangmangma.co:443/robots.txt因此返回错误是：400 Bad Request The plain ……
85
浏览
63
浏览
site网站有死链怎么快速处理，已投诉快照 Robots Site 投诉快照
http://www.szkaihuang.com/，网站上线了几个月，才收录了几个，site网站有死链，已投诉快照和提交robots，求大神看看@推推蛙……
52
浏览
各位大神帮我看下 我的Robots文件设置有没有错误 Robots PHP JS
各位大神帮我看下 我的Robots文件设置有没有错误 域名www.shangphd.com文件如下：User-agent: * Disallow: /plus/ad_js.php Disallow: /plus/advancedsearc……
106
浏览
想要改版两个导航栏页面内容 会有影响吗 Robots Nofollow
想要改版两个导航栏页面内容 会有影响吗这两个导航栏之前就用robots和nofollow让他不被抓取，所以这两个页面都是没有被抓取和收录过的，我这时候改版这两个页面会有影响吗https://www.darwintel.com/……
88
浏览
两个导航栏页面以前被我加过nofollow和robots，没被收录，没被抓取过 Robots Nofollow
两个导航栏页面以前被我加过nofollow和robots，没被收录，没被抓取过 我这时候去改版这两个页面 会有影响吗https://www.darwintel.com/……
99
浏览
百度灵异事件，速来！ Robots
两个多月的网站没有收入网站首页，网站没有301，robots，网站地图。百度对这方面的网站是不是偏见很大？……
99
浏览
请高手帮我翻译一下robots.txt文件 Robots
以下是一个网站的 robots.txt文件，写的什么意思？
93
浏览
云客多上海网站优化：网站改版后是否会掉排名呢？ Robots 404 排名
其实网站改版和掉排名并没有必然的关系，在不更改域名的情况下，对网站版面重新设计排版，增加用户体验度。伴随改版而来的网站链接的变更，下面云客多小编介绍下需要重点考虑的问题。 一、网站日志分析 网站在改版后，需要每天关注新网站的动态……
182
浏览
想屏蔽抓取问号后面的网址，robots要这么写呢？ Robots
最近收录了很多 http://www.xxx.com/?mType=Group 这样的网址，问号后面的字符是随机的，如果想屏蔽要这么写呢？谢谢大佬Disallow: /?* 这样写对吗还是要 Disallow: /?*=*……
82
浏览
网站改版期间把robots.txt关闭，会不会影响网站复通之后的抓取？ Robots 网站改版
网站改版期间把robots.txt设置为：User-agent: * Disallow: /时间久了，百度会不会产生一种习惯？即使网站复通了，它也不来抓取？……
125
浏览
有个网站一直不收录，同时期做的其他网站早收录了 Robots 网站标题
www.syyuga.com抓取诊断，robots确定都没问题，同样的服务器，模板后台都差不多，都是新域名，其他网站都收录了，就这个网站，3个月了一直不收录，不知道什么问题。网站标题：YUGA优伽瑜伽--沈阳瑜伽教练培训|沈阳孕妇瑜伽|沈阳……
552
浏览
16550
浏览
136
浏览
Robots禁止链接.某后缀是怎么写的？？ PPT Robots APP PHP
# # robots.txt for Discuz! X3 # User-agent:* Disallow: /api/ Disallow: /data/ Disallow: /source/ Disallow: /install/ Dis……
320
浏览
百度网址显示Robots文件禁止搜索引擎抓取，如何是好? 网站收录 Robots 文章
1.9.20日开始抓取频次变为02.27日开始网站流量及数据断崖式下降，网站收录的文章也和栏目页都被吐出来3.27日百度网址显示Robots文件禁止搜索引擎抓取，www.zjzk.cn。4.当日找技术更改了R文件，资源平台显示已允许抓取5.……
384
浏览
网站近期索引量爆跌，网站也被降权，谁能帮忙分析一下原因呢？ Robots Site 排名 文章
网站之前因为robots文件误操作导致各方数据爆跌，但后面经过每天持续的正常优化维护后，网站恢复如初，权重还由一上升到二，索引量、关键词库也在持续增长，一切似乎都在往好的方面发展。但是在15号网站索引量直接减少514条，当时出现了一定的影响……
129
浏览
啊！不小心把网站robots.txt设置了禁止抓取 Robots
我说最近怎么百度不收录 本来想改小网站的 robots.txt 结果把主要的那个网站改了 现在才发现，现在改过来，还能怎么补救呢？ ……
133
浏览
139
浏览
robots.txt文件存在限制指令，现在已经删除了，一直不更新 Robots
去做反馈了，也一直没给更新过来
174
浏览
网站一个月都不收录了，有什么办法解决？ Robots 网站日志 百度蜘蛛
问题描述：我的网站是 www.opposhuaji.cn ，从9月3号到现在已经20多天了，一个页面都没有收录。9月3号之前由于被工具，换了IP，然后发现有很多百度假蜘蛛爬取网址，然后我封了大约200个左右的百度蜘蛛IP，这段时间，我也一直……
133
浏览
禁止所有搜索引擎爬取收录网站，写robots对吗 Robots
User-agent: * Disallow: /禁止所有搜索引擎爬取收录网站 这样写对吗？
131
浏览
robots规则填写 Robots
怎么让蜘蛛禁止抓取带搜索的search?页面
183
浏览
死链提交工具进行提交后，还需不需要设置robots？ Robots
我的网站近期删帖删的过多，打算提交死链，问下已经使用死链提交工具进行提交后，还需不需要设置robots？……
133
浏览
网页被robots屏蔽了，不是说屏蔽了以后就不会被抓取和收录了吗？ Robots 网站日志 日志分析
为什么我网站的网页被robots屏蔽了之后，我从网站日志分析后还会能看到被蜘蛛抓取和收录呢？不是说屏蔽了以后就不会被抓取和收录了吗？……
170
浏览
网站不想被谷歌收录，写了robots多长时间可以生效呢？ Robots 谷歌收录
现在有几百个页面被收录，刚写的robots 大概几天可以生效让收录为0？还有其他的要操作吗除了robots 谷歌……
159
浏览
robots大家会把一些css js 图片等写进去吗？有必要吗？ Robots JS
每天网站上都有爬css和js等 要不要屏蔽掉来节约爬虫？这样会让爬虫节省时间去爬其他页面am？还是说他本来想爬js 结果屏蔽了 他扭头就走了？也不会去爬其他的内页？……
250
浏览
网站抓起频次突然变为0，已经连续了两天了，是怎么回事呢？ Robots 网站日志 抓取频次
网站抓起频次突然变为0，已经连续了两天了，期间内容也是正常上传，没有更改过网站的任何东西，唯独上传了robots文件，但是突然两天抓取频次就将为0了，虽然之前也不高。然后查询了日志文件，发现蜘蛛又有过来爬取。这是怎么回事呀？难道是robot……
239
浏览
一个网站可以SEO和SEM同时做吗？还是要分开做？ 数据分析 Robots SEM
如题，我想问下，我们公司只有一个网站，可以同时做SEO和SEM吗，这样对数据分析是不是不太好，比如转化来源、成本等。还是说需要再做一个镜像站，一个做SEO，一个做SEM，还有SEM的镜像站需要在robots里屏蔽爬虫访问吗？希望大神解答下，……
442
浏览
震惊！震惊！百度蜘蛛每天1万多抓取次数爬的页面，值得思考 Robots 百度蜘蛛
每天蜘蛛全部跑到这个5个栏目了，关键这栏目没有任何数据，有没有知道这是什么情况？要不要在robots.txt中禁止抓取？这一万多抓取全浪费了，不抓页面……
