651
浏览
网站百度快照抓取不到CSS样式，怎么修改？ Robots 百度快照
<p><br></p><p><br></p><p>robots文件也没有限制抓取，但是抓取不到CSS样式，是百度的问题还是网站的问题</p>……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
650
浏览
SEO技术大师-商城网店SEO策略引进方法 Robots 排名 代码 文章
<p>SEO是商城网店平台非常重要的一步，如何在商城中心和网店平台上建立SEO优化，对于吸引客户非常重要。</p><p> </p><p><strong> 一、SEO技……
650
浏览
网站权重计算因子浅析 Robots SEOer Site JS
网站权重有点老生常谈了，所以只敢写个浅析，seoer最关心的是权重，操作最频繁却是天天更新文章，换友链，发外链，为什么要重复这些搬砖的过程？发表点不一样的看法和浅薄的经验，望大家指正。一、什么是网站权重|| 引用下百科解释：权重是指某一因素……
650
浏览
禁止所有搜索引擎爬取收录网站，写robots对吗 Robots
User-agent: * Disallow: /禁止所有搜索引擎爬取收录网站 这样写对吗？
649
浏览
robots整站禁抓，为啥抓取诊断中抓取首页成功呢？ Robots
<p><br></p><p>这是咋回事呢 </p>
649
浏览
网站在开发中禁止了所有搜索引擎抓取页面，网站上线一个月还是提示禁止抓取 Robots 百度收录 跳转
<p><br></p><p>此域名此前是跳转到别的网站，现在我做了一个站绑定到这个域名，建站时禁止了所有搜索引擎抓取，现在上线一个月，但是百度收录的首页摘要力还是提示限制搜索引擎抓取，该反馈的……
646
浏览
新站计划上线，还没修改完成，是闭站还是robots屏蔽 Robots 备案
新站计划上线，还没修改完成，但是近期在查备案怕被查关备案号，打算上个单页，是闭站还是robots屏蔽收录……
646
浏览
项融科技新建的网站不收录，有大神指出了原因但没有说怎么修改 Robots 网站不收录 代码 跳转
<p><br></p><p>如上图，项融科技pos机网址：www.xrkjpos.com，建站3个月不收录，结果有好心的网友发现了三个问题，</p><p>1.网站首页代……
643
浏览
怎么解决禁止百度收录一些无意义的网页，新手求助！！！ Robots 百度收录 PHP 文章
我这边做了一个网站，百度收录一些没有内容的链接。这些链接我从网站也查不到。我的网站是www.ziyuantuliao。Com无意义的链接比如：http://www.ziyuantuliao。Com/show.php?id=54http://……
642
浏览
有个网站一直不收录，同时期做的其他网站早收录了 Robots 网站标题
www.syyuga.com抓取诊断，robots确定都没问题，同样的服务器，模板后台都差不多，都是新域名，其他网站都收录了，就这个网站，3个月了一直不收录，不知道什么问题。网站标题：YUGA优伽瑜伽--沈阳瑜伽教练培训|沈阳孕妇瑜伽|沈阳……
639
浏览
638
浏览
昨天屏蔽谷歌蜘蛛后，网站打开速度快了很多！ Robots PHP Discuz 网站打开速度
天下苦谷歌久已，以前网站打开速度慢！服务器负载经常被干满，检查了很多地方没有找到原因！昨天安装了个蜘蛛插件发现谷歌蜘蛛来得比较多！所以直接给屏蔽了谷歌蜘蛛，今天发现网站速度打开块很多了！服务器负载也接近空载在跑https://www.108……
638
浏览
robots写法疑问 Robots
（目的 是只禁止/html/BaoJia.html页面）这样写： Disallow: /html/BaoJia.html 后是否还需要添加Allow: /html/……
637
浏览
robots这样写没有问题吧 Robots
<p></p>
637
浏览
百度蜘蛛每天都抓robots一百多次，这正常吗？ Robots 百度蜘蛛
我这网站一天蜘蛛走680多个页面，其中有180多个是robots.txt，这正常吗？？？？
636
浏览
复制淘宝、天猫的产品详情内容，如何能更好的被收录？ Robots 淘宝 Site
像淘宝，天猫都是用robots.txt协议禁止搜索引擎抓取收录。这样的话我把淘宝天猫的产品及产品介绍详情复制出来，放到自己网站上。测试过是收录的，就是收录量太少，我用的Wordpress程序做网站，而且基本的seo也会去做，sitemap也……
635
浏览
请教搜外小伙伴两个站内优化问题？ 长尾关键词 Robots 关键词布局 站内优化
1.列表页或栏目页中“上一页”“下一页”用robots.txt都需要屏蔽吗？这样不就整个栏目页面都需要进行屏蔽了。2.热搜关键词和长位关键词是对立的。热搜关键词一般布局在首页，栏目页，内容页，长尾关键词布局在栏目页，内容页，这样栏目页和内容……
635
浏览
关于网站日志分析_百度蜘蛛只抓取robots.txt Robots SEOer 排名
<p>作为SEOer近12年的工作人员，今天检测网站日志，发现百度蜘蛛200状态只抓取robots.txt文件，其他的文章，产品页面都不抓取；</p><p>因为着急让产品页面抓紧收录，获取产品词的排名：&……
634
浏览
网站改版期间把robots.txt关闭，会不会影响网站复通之后的抓取？ Robots 网站改版
网站改版期间把robots.txt设置为：User-agent: * Disallow: /时间久了，百度会不会产生一种习惯？即使网站复通了，它也不来抓取？……
633
浏览
中英文双模板的网站如何优化处理，比较合适？ Robots 二级域名
网站有中英文2个版本，应该如何处理才不会影响到中文版本的优化呢，英文是目录（www.abc.com/en）还是开个二级域名（en.abc.com）好呢?中英文两套程序是共存在一个虚机中，英文版的反正不考虑优化，是不是可以直接robots.t……
633
浏览
632
浏览
网站正在改版，但是没有了闭站保护功能 Robots 闭站保护
<p>目前在robots文本上禁止可以起到闭站保护的作用吗？</p><p><br></p><p>半个月或者一个月后再修改恢复怎么样？</p><p>……
631
浏览
网站关键词排名优化的几个阶段 Robots 搜狗 竞价 排名
SEO关键词优化能让网站在搜索引擎上有更好的排名。让更多的用户都能快速的查找到自己的网站关键词。为了让更多的人了解详情，下文浅析关键词SEO优化的三个阶段第一阶段：网站分析阶段我们要学会总结和分析，分析文章不收录的原因，分析网站外链无效的原……
629
浏览
查看网站的robots文件显示404是怎么回事~应该怎么处理 Robots 404
查看网站的robots文件显示404是怎么回事~应该怎么处理
628
浏览
大佬，这个有没问题，不说网站不能有robots吗？ Robots
<p></p>
628
浏览
为什么用Robots写了禁止域名后面带？的，百度还是能查到？有没有老师帮看看哪里设置的不对？ Robots Site
# robots.txt generated at https://www.hyhrc.com/ User-agent: *Disallow: /*?*，Robots检查也是正确的，百度site:www.hyhrc.com还是出现那些郁闷后……
628
浏览
网站收录了很多404页面及没有内容的文章页，但正常页面收录少怎么处理？ Robots 404 文章
网站www.sresky.com/改版后，出现很多404页面，提交了死链，但没用。然后在robots文件加了Disallow:，但仍旧没用，请教各位大神，1、如何让百度不收录404页面？2、没有内容的文章页该如何屏蔽掉？……
627
浏览
Robots这东西站长们还有搞吗 Robots
Robots：可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。我好想都没特意去搞过这东西。……
626
浏览
site网站有死链怎么快速处理，已投诉快照 Robots Site 投诉快照
http://www.szkaihuang.com/，网站上线了几个月，才收录了几个，site网站有死链，已投诉快照和提交robots，求大神看看@推推蛙……
625
浏览
新网站上线后，首页被收录，但是提示robots不对 Robots
<p></p>
624
浏览
谁来帮我看看，百度蜘蛛胡乱抓取不存在的url Robots 网站日志 404 代码
<p>我的网站www.njrxi.com今天正好开通一个月了，目前就收录个首页，前几天我开始查询蜘蛛抓取情况，发现百度每天只抓取首页和一个目录：www.njrxi.com/showmaster/ 来源是www.njrxi.com……
623
浏览
有没有大佬，站长后台发现抓取失败，检测robots显示服务器配置有误是因为什么？怎么解决 Robots
<p></p><p></p>
623
浏览
623
浏览
网站robots误封百度，修正后，多久可以正常抓取展现？ Robots 搜索结果
之前robots.txt出现了问题（封禁），导致搜索结果页展现封禁信息，重新更新了robots.txt等待了有30天了都没重新展现回来。……
621
浏览
蜘蛛抓取robots.txt 为什么404 是正常的吗 Robots 404
<p>网站：www.chlbh.cn</p><p></p>
620
浏览
robots.txt写了没用啊 Robots
Disallow: /swt已经写了不让抓取swt目录，百度还是收录了。。。。。。。。
619
浏览
如何在robots.txt里屏蔽夸克搜索引擎蜘蛛 Robots 索引
请问，如何在robots.txt里屏蔽夸克搜索引擎蜘蛛？
617
浏览
请问下大神们，百度为什么就爬首页和以前老早删除了的页面？ Robots 404页面 PHP 404
<p>请问下大神们，百度为什么就爬首页和以前老早删除了的页面？站点两年了，以前没空弄，中间丢失了很多页面，数据没了，网站一直没关过，只是服务器忘记续费了，几天才发现没备份，全重做了，目录路劲没变，我重新更新一个多月了，谷歌，神马……
616
浏览
网站建二级域名与主域名指向同一个程序，主域名会被分掉权重吗 Robots 二级域名 竞价
如题，为了区分竞价来的线索和自然流量线索，我想将网站建一个二级域名，新建的二级域名与主域名都指向同一个网站，然后在robots中设置disallow禁止蜘蛛抓取这个二级域名，这个新建出来的二级域名会影响主域名的权重吗？……
