933
浏览
想做谷歌seo，请问怎么优化，服务器模板方面该怎么选择 Robots Nofollow H标签 SEO优化
1.谷歌seo优化都包括哪些方面？平时百度里面的h标签，nofollow，以及robots这些都还适用吗？具体怎么优化，有什么插件可以查询数据2.我们针对的是全球的业务，服务器节点应该咋选择，镜像方面还选择centos吗？3.做外贸模板有什……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
932
浏览
想要改版两个导航栏页面内容 会有影响吗 Robots Nofollow
<p>想要改版两个导航栏页面内容 会有影响吗<br>这两个导航栏之前就用robots和nofollow让他不被抓取，所以这两个页面都是没有被抓取和收录过的，我这时候改版这两个页面会有影响吗<br><……
932
浏览
网站更换备案，期间用robots屏蔽蜘蛛可以吗？会不会有影响？ Robots 备案
网站更换备案，期间用robots屏蔽蜘蛛可以吗？会不会有影响？
932
浏览
930
浏览
noindex meta robots标签 ,页面会被抓取，但不会被索引，不会出现在搜索结果页面，对 Robots 搜索结果
noindex meta robots标签 ,页面会被抓取，但不会被索引，不会出现在搜索结果页面，对吗？
929
浏览
Disallow: /*ox* 这是什么意思？有谁知道吗？ Robots
我的网站robots.txt文件里设置了这个，对网站有影响吗？蜘蛛都不来抓取了
929
浏览
啊！不小心把网站robots.txt设置了禁止抓取 Robots
我说最近怎么百度不收录 本来想改小网站的 robots.txt 结果把主要的那个网站改了 现在才发现，现在改过来，还能怎么补救呢？ ……
927
浏览
网站双链接，我robots禁止抓取动态链接有什么影响？ Robots 动态链接
网站双链接，我robots禁止抓取动态链接有什么影响？
923
浏览
robots屏蔽问题 Robots
问下兄弟们像下面的链接 有没有比后面这个更简单点的写法 Disallow: /author-1.html xxxxx/author-1.htmlxxxxx/author-1_1.htmlxxxxx/author-1_2.htmlxxxxx……
923
浏览
robots检测更新出现此类问题该如何解决？ Robots
<p><br></p>
922
浏览
百度刷新robots 失败，请问各位有没有这情情况？ Robots
<p>百度刷新robots 失败，请问各位有没有这情情况？</p><p><br></p><p><br></p>……
921
浏览
求解：假如我要屏蔽下面这个 robots要怎样写？ Robots
假如我要屏蔽这个/syzl-business-api/base/clearHistory robots要怎样写呢？下方这种写法，屏蔽了还是依旧会抓取Disallow: /syzl-business-api/base/clearHistory……
921
浏览
robots设置中我想屏蔽以tem开头的目录怎么设置? Robots
robots设置中我想屏蔽以tem开头的目录怎么设置?第一种：Disallow: /tem*/ 第二种：Disallow: /tem*是第一种设置有效还是第二种设置有效？……
920
浏览
robots大家会把一些css js 图片等写进去吗？有必要吗？ Robots JS
每天网站上都有爬css和js等 要不要屏蔽掉来节约爬虫？这样会让爬虫节省时间去爬其他页面am？还是说他本来想爬js 结果屏蔽了 他扭头就走了？也不会去爬其他的内页？……
918
浏览
怎么看网站中robots文件 看看蜘蛛来网站爬行的时间呢 Robots
怎么看网站中robots文件 看看蜘蛛来网站爬行的时间呢 www.tianchiyedanguan.com
917
浏览
只有需要禁止搜索引擎抓取某些页面时，robots文件才有存在的意义，对吗？ Robots
只有需要禁止搜索引擎抓取某些页面时，robots文件才有存在的意义，对吗？
915
浏览
各位大佬，请问robots文件应该要怎么样写好？ Robots
各位大佬，请问robots文件应该要怎么样写好？织梦系统的，是不是可以把除了内容页以外的其他文件夹都禁止爬行？……
914
浏览
网站权重掉了，site掉到了第三页，品牌关键词也没了咋整？ Robots Site JS
网站三w 。zsxcai。com我初步判断是sitemap混乱+新增的edu页面抢权重了，导致的掉权。还有就是，为啥百度抓了一大堆wp-json啊？这玩意怎么解决掉啊...直接robots掉？（worldpress功能太多了，用起来反而觉得……
914
浏览
已经设置了robots，但还是被百度收录了，显示title，如何删除这种快照呀！ Robots 百度收录
<p>早期被百度收录了，然后设置了robots！但现在发现，还是被百度收录了，搜索结果显示title，如何删除这种快照呀！</p><p></p>……
913
浏览
网站改版原来收录的URL怎么办？ Robots 404 6系统 索引
网站改版有多种情况，有一种情况是：网站域名不变、网站系统要完全更换，内容继续在新系统使用。如果这个网站已存在一定时间，已有较多收录量，那么原来收录的那些URL该怎么办呢？有两个办法来解决：1、在新系统或新服务器上，增加一项功能，把老的已收录……
911
浏览
请问我的robots文件怎么抓取失败 Robots
<p><br></p><p>这个咋弄</p>
911
浏览
如何去除一个网站的死链接？ 跳出率 Robots 404 索引
处理死链接一般都是通过以下几个方法：一、给网站设置404页面404页面就是告诉访客，当前所浏览的页面出错或不存在了，请继续浏览网站其它内容。404页面可以设置成单独的一个页面，这个404页面处理好了，当用户遇到死链接的时候会有眼前一亮的感觉……
907
浏览
网站权重计算因子浅析 Robots SEOer Site JS
网站权重有点老生常谈了，所以只敢写个浅析，seoer最关心的是权重，操作最频繁却是天天更新文章，换友链，发外链，为什么要重复这些搬砖的过程？发表点不一样的看法和浅薄的经验，望大家指正。一、什么是网站权重|| 引用下百科解释：权重是指某一因素……
905
浏览
robots的写法问题 Robots
我网站的导航分类结构是：www.xxx.com/abc 这样的，那么我robots应该写作：Disallow: /abc 还是 Disallow: /abc/ ?……
905
浏览
robots文件禁止抓取template为什么百度还抓取？ Robots
<p>www.jinghuabanchang.com 看了一下日志文件 发现百度一直在抓取这个template这个文件 明明我已经禁止了 百度还是那个百度吗？</p>……
905
浏览
帮我看下网站的robots有没有问题 Robots
网站是公司老板找别人做的 https://www.58zhuan gxiu.cn/robots.txt
904
浏览
标题单一内容简单的论坛的帖子是否有必要屏蔽百度收录 推荐热议 Robots 百度收录 文章
网站下有一个论坛，每天都有人发表一些标题简单又有点重复的，内容大部分是图睛有的几个字或是纯图片，百度每天大部分都收录了。网站内容每天也手动更新几篇比较用心的长内容。也都收录了，但是每天收录论坛这些水帖比较多，用心的内容只占了十分之一二，这些……
904
浏览
903
浏览
网站问题诊断-请问大神帮忙看看网站有没有问题，SEO优化的问题？ Robots 抓取频次 SEO优化
<p>网站：wiki.fpc-pcba.com 可以正常访问 </p><p>百度站长 抓取诊断可以正常抓取 抓取频次为0</p><p>但是Robots检测显示服务器配置有……
902
浏览
网站上线一周不收录 站长后台一直提示抓取失败？ Robots 更新文章 文章
<p><br></p><p><br></p><p>网站上线一周了一直没有收录，每天也在持续更新文章，robots也没错，网站能正常访问，怎么就会一直抓取失败……
901
浏览
大神帮忙看看robots写的对不对 Robots
页面url为：http://www.xinshouyou.com/attache/xiazai9652/我的robots写法为：Disallow: /*/xiazai*/但是蜘蛛依然还在爬取收录此类型的URL，有大神帮忙看看么……
896
浏览
请教搜外小伙伴两个站内优化问题？ 长尾关键词 Robots 关键词布局 站内优化
1.列表页或栏目页中“上一页”“下一页”用robots.txt都需要屏蔽吗？这样不就整个栏目页面都需要进行屏蔽了。2.热搜关键词和长位关键词是对立的。热搜关键词一般布局在首页，栏目页，内容页，长尾关键词布局在栏目页，内容页，这样栏目页和内容……
895
浏览
893
浏览
891
浏览
大佬，这个有没问题，不说网站不能有robots吗？ Robots
<p></p>
889
浏览
888
浏览
我网站的robots.txt 禁止了百度快照收录了吗 Robots 百度快照
<p>我网站的robots.txt 禁止了百度快照收录了吗</p><p><br></p><p><br></p><p><br&g……
