1196
浏览
你们的Robots更新得了吗？ Robots
在百度资源后台，你们可以更新网站Robots？，好像一直更新不了，不知道大家是否一样
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1195
浏览
谁会做robots? Robots
http://www.ayztsj.com
1195
浏览
1193
浏览
搜狗蜘蛛robots能不能屏蔽掉？ Robots 搜狗
可以屏蔽了搜狗蜘蛛吗？
1193
浏览
网站连续两个月抓取频次为0,只收录首页？ Robots Site Sitemap 移动站
网站一直持续更新，但是网站一直不收录。www.mifugz.com移动站m.~绑定熊掌号以后开始有收录了，但是pc站还是抓取频次为0希望技术大佬帮忙看看是不是 我的robots写错了，或者是网站的其他问题？User-agent: * Di……
1193
浏览
蜘蛛抓取问题，麻烦大佬抽空看一下。 Robots Site 文章
<p>网站一直秒收录，昨天更新到3740。今天的日志显示从3740往后的一篇都没爬，百度谷歌都没爬今天的文章。</p><p>几点可以确定，最近一个月都没改网站任何东西，</p><p>……
1192
浏览
新站如何做好seo优化 Robots 竞价 404 排名
1、关键词的定位分析：这个步骤主要是关键词的选择和定位，关键词的选择一般是行业名词、产品词、行业相关词、用户需求词与用户搜索词，遵守的原则是确保关键词和网站相关、关键词有搜索量，避开竞价多、竞争大的通用词和热门词，选择的途径一般是同行网站……
1192
浏览
百度站长平台robots更新失败 Robots 站长平台
<p><br></p><p><br></p><p>域名：https://www.zide360.com，新改了robots文件，百度站长平台提示：百度暂时无……
1191
浏览
百度站长平台robots无法检测了，你们都是这样吗 Robots 站长平台
百度站长平台robots无法检测了，之前还可以正常失败，最近总是提示：请求失败，我们已记录此问题并将尽快处理，请刷新页面或稍后再试。你们也是这种情况吗，现在我有些不想被抓取的页面也收录了……
1189
浏览
请教大侠，网站地图原因？ Robots Site Sitemap
网站地图SitemapX制作网站地图时需要上传robots文件吗？
1187
浏览
robots.txt是必须要的吗？ Robots 企业站
我网站也没做robots，是不是说网站不深的话，不需要网站地图吗？比如像企业站，一般URL都不会很深，我网站也没做网站地图，robots.txt是必须要的吗？……
1187
浏览
robots文件中，user-agent 代表下面的规则适用哪个蜘蛛，对吗？ Robots
robots文件中，user-agent 代表下面的规则适用哪个蜘蛛，对吗？
1187
浏览
老站蜘蛛从来不爬去内页,求大神帮看robots是否设置有误？ CMS Robots 备案
<p>易优的CMS，老域名建的站且已经一年半了，首页蜘蛛每天来很多次，百度收录了三四百条（首页及栏目页面），移动权重2，但蜘蛛日志显示百度蜘蛛从不爬取内页，首页来的多，会爬栏目页面，但内页不爬去也不收录。未备案。</p&g……
1183
浏览
各位大神，robots该怎么写，蜘蛛抓了很多PHP,HTML页面 Robots PHP
有分享一下借鉴一下吗？
1181
浏览
图片404影响网站优化吗？？ Robots 日志分析 404
<p>日志分析里，不知道什么原因有好多图片没有（图片链接都是自己网站的 ），导致出现很多404，这样影响网站优化的吗？？</p><p>把这些图片都找回来应该不现实，那这种问题该怎么处理的呢??</p……
1180
浏览
网站不收录一般都是哪些点没做好？ Robots 老域名 JS 排名
一：域名垃圾很多seo小白搭建网站，前期对于seo知识相对匮乏，胡乱的使用模板搭建好了一个站点，后期苦等着一个星期、两个星期、一个月都不见网站内容收录。其中网站、内容都是用心做的，便百思不得其解。后经过圈子内部的人查了一下网站历史，才发现域……
1179
浏览
同一网页收录了好几种不同的url怎么解决？ Robots 伪静态 跳转 静态
<p>301跳转已做。伪静态也做了。robots也设置了。到底是哪里出问题了呢：ooo0000.com</p><p><br></p>……
1176
浏览
收录率100%会不会有什么负面影响？ Robots 收录率 Site 文章
<p>发了3100篇文章，连栏目页+tag也就3400左右，site一下居然有3380 百度是有多饥渴 - -！幸好有robots挡着，要不然后台都收录了。</p><p><br></p&……
1175
浏览
新站一周都没收录 感觉也是废了？ Robots
百度https 也认证了， robots也加了。
1174
浏览
robots中 Allow是 告诉搜索引擎可以抓取某些内容，对吗？ Robots
robots中 Allow是 告诉搜索引擎可以抓取某些内容，对吗？
1174
浏览
新买的域名五十多天了没有任何收录痕迹，查了才知道是老域名，大家给些建议 数据库 Robots 老域名
<p>1买的域名是www.158116.com</p><p>2因为我是新手 部署网站也是某宝弄的 所以换域名的话可能又要另外花一份钱 所以请大家看看这个结果我是继续优化还是死心换域名</p>&……
1173
浏览
robots只抓取html行不行？ Robots 网站优化 JS
只抓取网站html行不行？ 将含？的页面，模板、图片、css、js目录这些都不抓取行不行？ 会不会影响网站优化的呢 有没有副作用？？Allow:*.htmlDisallow: /某个目录/Disallow: /*?*Di……
1173
浏览
备案网站挂bc、sq推广链接会被惩罚吗？ Robots 备案
做外链转内链，然后robots禁止抓取怎么样，或者还是有别的办法吗？
1173
浏览
刚看了一些抓取日志，发现robots屏蔽的不够彻底啊 Robots ajax PHP
/wp-admin/admin-ajax.php/wp-admin/这两个页面占据了大部分抓取量，我是用WP建站，这两个应该是后台吧我是不是都要屏蔽掉？……
1168
浏览
想问一下，大家在修改网站robots文件之后，多久会有效果 网站收录 Robots
最近修改了网站robots文件，导致网站收录出现了问题，现在又重新写了一下，想问robots文件多久能够在百度这里其效果。……
1168
浏览
网站一直被百度抓取wp-json怎么办？ Robots JS WordPress
<p>WordPress刚建站一个月，百度就抓取乱七八糟的链接，后面用robots.txt禁止了，最近又开始抓取wp-json，用robots禁止几天都没用，该怎么办？需要在百度反馈下吗？帮我看看网站有违规吗？@蛙哥!</……
1166
浏览
百度站长抓取诊断问题！ Robots
<p><br>提示其他错误，然后报错了IP喝更新IP和robots 过几分钟，再次诊断，又正常了，不是一个链接这样，基本都这样！</p>……
1163
浏览
lumen框架开发的网站，robots主要限制哪些文件 Robots
如题，有大佬告知吗？？？
1162
浏览
Robots的校验工具，为什么一直显示的是请求出错，请稍后重试。 Robots 淘宝
<p>是这个网站设置了整站禁抓才显示这样，还是这个工具有问题 测试的淘宝<br></p><p><br></p>……
1162
浏览
老域名，只收录首页，这几天也一直在提交资源平台 Robots 老域名 更新文章 文章
www.bomman.com 一开始我以为是robots的禁止抓取，结果不是，网站目前可查的问题也不是直接影响没有收录的原因，每天也有更新文章，而且数量也不小。……
1161
浏览
百度站长后台验证robots 显示错误500怎么回事？ Robots
<p><span>百度站长后台验证robots 显示错误500，</span>多点几次 检测并更新也不行，<span>我网站可以打开，这是怎么回事额？请问要怎么解决？</span&g……
1160
浏览
新站还没上线的话 如何设置robots？ Robots
是上线以后写还是怎么？是只需要添加一个地图链接就可以了吗？我应该如何做呢？
1160
浏览
网站抓取频次突然降到0是怎么回事。已经三天了 Robots 抓取频次
<p>1、抓取频次突然降到0，已经三天都是这样。 </p><p>2、抓取诊断昨天还可以抓取成功，但今天一直在都处于抓取中 </p><p>3、我网站robots.txt里面并未禁止蜘……
1157
浏览
百度网址显示Robots文件禁止搜索引擎抓取，如何是好? 网站收录 Robots 文章
<p>1.9.20日开始抓取频次变为0</p><p>2.27日开始网站流量及数据断崖式下降，网站收录的文章也和栏目页都被吐出来</p><p>3.27日百度网址显示Robots文件禁……
1157
浏览
百度不讲武德，我该如何整站删除百度收录？ Robots Site 根目录 404
公司的站点不管是pc还是wap收录都过百万，网站有很多内容已经下架但是百度还依然保留收录快照，为此有一些早已经下架陈年违规内容保留的快照被网监给找到导致公司被罚数万元，领导现在让我解决这个问题，我的做法是先：1、在网站根目录下面添加robo……
1155
浏览
robots文件里已经禁止了，但是蜘蛛还是去抓，而且还是404 Robots 404
<p>比如这个templets文件夹我已经禁止了，但是查看网站日志，发现蜘蛛还是去抓了，而且还是提示404</p><p>这是咋回事?</p><p>难道说robots文件没用吗？&l……
1155
浏览
网站里的robots.txt文件里能不能写入两个sitemap，一个xml，一个html Robots Site Sitemap PHP
www.hzshenlong.com ps：蜘蛛会抓取.php文件么，抓取.php文件有啥用？
1155
浏览
robots和url重写 Robots
谁能教我一下写robots和url重写，我有一个新的网站上线，想试一下子http://www.sxkdxl.cn，希望大家能交流交流。……
1155
浏览
网页被robots屏蔽了，不是说屏蔽了以后就不会被抓取和收录了吗？ Robots 网站日志 日志分析
为什么我网站的网页被robots屏蔽了之后，我从网站日志分析后还会能看到被蜘蛛抓取和收录呢？不是说屏蔽了以后就不会被抓取和收录了吗？……
1155
浏览
网站被判定为采集站，关键词没有任何排名，但收录还在 Robots 排名
<p>网站被判定为采集站，关键词没有任何排名，但收录还在。</p><p>robots禁止了采集网页，之后反馈给百度站长，给到反馈如下：</p><p></p>……
