712
浏览
百度蜘蛛只抓取robots文件就不抓取其他页面时为什么 Robots 百度蜘蛛
www.mixmt.cn
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
711
浏览
网站上线20多天了 抓取诊断一直失败 Robots 备案
已经排查过了没有屏蔽蜘蛛，robots也是允许抓取的，5.1号上线的抓取诊断就显示失败，点击了报错，提示几分钟就更新好，但是过了8天还是一直抓取失败，所以在平台反馈，反馈在12号回复说转相关工作人员分析处理，这又过了10天了，继续追问反馈 ……
708
浏览
707
浏览
网站的robots文件该放哪种类型的地图？ Robots
把xml版本的和html版本的都放在robots文件合适吗？一般是只放xml版本的吗？
707
浏览
网站之前上传了robots 百度站长平台也可以检测到但是网站关停了一段时间之后 Robots 站长平台
在解析到之前的服务器上，在检测都显示“服务器配置错误 403” 这个是什么情况
706
浏览
没被抓取过和收录的页面改动会有影响吗 Robots
robots禁止抓取的页面，没被抓取过和没被收录的页面改动，改版会有影响吗 https://www.darwintel.com/……
705
浏览
【教程】如何及时拦截垃圾爬虫和蜘蛛。别在用robots了 Robots
教程比较长 直接去看就好。教程地址： https://www.cangpan.com/432p1/
705
浏览
704
浏览
网站设置了robots禁止抓取，为什么排名还是那么好呢？ Robots 排名
<p></p>
702
浏览
怎么查看Robots协议是否有抓取网站的哪些页面呢，以及哪些页面没有被抓取。 Robots 文章
怎么利用Robots协议查看网站新闻动态页是否有抓取或者收录文章内容呢？怎么查
702
浏览
Robots文件这样设置没什么问题吧 Robots
<p></p>
701
浏览
网站大量页面删除，已经使用robots.txt文件屏蔽，还需要提交死链接吗？ Robots 死链接 文章
网站内容更换，删除大量文章页面使用robots屏蔽共同栏目页，这些页面还需要去资源平台提交死链吗？……
700
浏览
百度Robots检测失败 Robots
这个检测失败，然后抓取是正常的，另外在其它网站Robots这里检测也是正常。检测失败提示：您的服务器配置有误百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500……
699
浏览
699
浏览
698
浏览
robots已经在百度验证过了，为什么3-4天了网站还是显示存在限制指令？ Robots 网站建设
<p>江苏安邦云昇智能科技有限公司 <a href="http://www.anbangyun.cn/" target="_blank" data-url="www.……
698
浏览
网站关键词排名优化的几个阶段 Robots 搜狗 竞价 排名
SEO关键词优化能让网站在搜索引擎上有更好的排名。让更多的用户都能快速的查找到自己的网站关键词。为了让更多的人了解详情，下文浅析关键词SEO优化的三个阶段。第一阶段：网站分析阶段我们要学会总结和分析，分析文章不收录的原因，分析网站外链无效的……
697
浏览
请问网站有百万级的url，应该然后制作sitemap提交？ Robots Site Sitemap
①是该做个Sitemap.xml中包含其它Sitemap(Sitemap1.xml，Sitemap2.xml，Sitemap3.xml.....);只把Sitemap.xml放进robots?②还是分别把Sitemap1.xml，Sitem……
696
浏览
css js大家在robots屏蔽了吗？有必要吗？ Robots JS
因为每天爬都有爬css和js这些 看有种说法说是会浪费蜘蛛，那要不要屏蔽呢？有意思吗？
695
浏览
robots文件禁止抓取，解禁后多久可以恢复抓取？ Robots
robots文件禁止抓取，解禁后多久可以恢复抓取？
693
浏览
请教下ROBOTS的问题 Robots
<p>刚刚更新了一下robots 加了 Disallow: /product/e23</p><p><br></p><p><br></p>&……
691
浏览
今天看了日志，有几个问题请教一下搜外大神，路过的大神指点指点迷津吧！ Robots 友链
www.wsf1234.com非图片站的蜘蛛抓取图片频率过高，该不该改善这个问题？应该改善又该如何改善？需要在robots协议上做什么调整？蜘蛛抓取后真实访问率46%算什么水平，过高或过低？，除了布局更优质的外链和友链，还有什么优化手法？目……
690
浏览
新网站怎样才能快速上排名呢？ Robots 排名 静态
怎么才能让新站快速有排名呢？（1）什么是新站：新站是上线时间段，没有排名或者排名比较浮动的网站。按照网站的时间来定上线1个月--6个月都是新站期，新站期是不稳定的，是百度对网站的考核期。（2）新站排名难的原因无非是以下这些点：新站内容比较少……
684
浏览
Robots文件是网站模板自带的吗？ Robots 网站模板
Robots文件是网站www.ertongzl.com模板自带的吗？
684
浏览
老站半个月蜘蛛疯狂爬，新站隔天就收录了。 Robots 排名
真是见了个鬼了，新站隔了一天就收录了。没有做过外链，才刚上传，百度居然收录了，还有排名，真是。。。。。上面内容都还没做。忘记用ROBOTS屏蔽了。……
684
浏览
日志猛增301，很多类似这样，你们有碰到这样的情况吗，这是怎么回事 Robots 竞价
<p><br><br></p><p>还有robots文件也是很多都出现301，之前都没有这种请</p><p>竞价的页面，网站图片，一天有300多条301&l……
683
浏览
手机端适配的是后台二级目录，内容质量为伪原创但是收录挺好，可为什么都是无排名？ Robots 伪原创 排名
<p>主要的还是一级目录不收录，反而二级目录的收录好，这与robots不相关吧！</p><p><br></p>……
683
浏览
网站改版，出现大量的死链，已经影响到网站的质量，该如何快速有效的处理大量死链 Robots 网站改版
目前每天都在站长后台提交，感觉效果微乎其微。在robots文件里面，disallow所有的死链能解决不……
683
浏览
网站地图优化有什么用处？ Robots 排名 文章 索引
网站地图，又称站点地图，它就是一个页面，上面放置了网站上所有页面的链接。大多数人在网站上找不到自己所需要的信息时，可能会将网站地图作为一种补救措施。搜索引擎蜘蛛非常喜欢网站地图，【知心网堂】小编整理发布。接下来通过这篇文章为你具体介绍网站地……
679
浏览
关于robots文件屏蔽链接的写法，帮忙看看 Robots
请问大家，这样是不让蜘蛛抓取DEF文件夹内容，ABC文件夹不受影响。对吧User-agent: *Disallow: /ABC/DEF/……
679
浏览
翻页的url有必要静态化吗？ Robots 静态
网站很多内容，都有分页目前都是动态url，不过robots已经禁止抓取动态url，有必要静态化吗，cddgg.com静态化的好处是什么？不会产生很多相似页面的情况吗。……
679
浏览
为什么robots解除封禁了，蜘蛛还是抓取失败？ Robots
<p></p>
678
浏览
在百度站长平台上检测robots文件的时候出现的，这个应该怎么弄呢 Robots 站长平台
<p></p><p>在百度站长平台上检测robots文件的时候出现的，这个应该怎么弄呢</p>……
677
浏览
网站被挂马，重新做的新站，但是老站的乱码收录一直在，写了一个Robots禁止一下，不知道能不能起作用 Robots 网站被挂马 乱码
<p><br></p><p># robots.txt generated at https://www.hyhrc.com/ <br>User-agent: *<br>……
676
浏览
网站做了伪静态之后屏蔽动态链接会不会对收录有影响？ Robots 伪静态 静态
各位请问我网站做了伪静态了，那我现在robots里屏蔽抓取动态链接会不会导致网站不收录？还有像如果要屏蔽/spread/detail?id%E3%80%9372这种连接的robots是这样写吗？User-agent: baiduspider……
676
浏览
网站收录域名后面被加了一下参数 请问是怎么回事 网站收录 Robots
<p></p><p><br></p><p>首页被加了很多不同参数被收录了 不知道怎么回事 请问要怎么处理 robots里已经禁止/?*的抓取了 </p>……
672
浏览
昨晚robots允许抓取，第二天早上改了下标题，有影响吗？ Robots
昨晚robots允许抓取，第二天早上改了下标题，有影响吗？
