1856
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
1844
浏览
在网站根目录上传了robots文件，可是为什么不能显示？上传百度认证文件也不行 Robots 根目录
在网站根目录上传了robots文件，可是为什么不能显示？上传百度认证文件也不行，网站地址 http://www.558844.cn/ 研究了半天也不会 ……
1842
浏览
网站原来是动态的URL，2个月前做了伪静态，网站落地页也改版了。但是只收录了首页，site出来的，还有原来的动态页面收录，就是没有改版的伪静态内页收录。 Robots 伪静态 Site
网站原来是动态的URL，2个月前做了伪静态，网站落地页也改版了。但是只收录了首页，site出来的，还有原来的动态页面收录，就是没有改版的伪静态内页收录。写了robots屏蔽动态URL，还是没有用。没有做301，前一段时间日志分析，伪静态的U……
1840
浏览
网站采集内容做聚合页面robots怎么写？ Robots 聚合
各位大佬有做过，解释一下谢谢大佬了。
1840
浏览
求各位帮忙分析一下，7个月了，网站一直不收录内页，目前只有首页收录 推荐热议 Robots 索引
<p>1、网站索引目前43，但是也是差不多一两个月没有增长了，这43个索引都是最近两个月突然有一天冒出来的，然后差不多一个星期就有43，但是后续就基本上没有增加过了</p><p><br><……
1838
浏览
网站改版robots.txt文件怎么设置？ Robots 网站改版
网站改版是设置robots.txt文件
1836
浏览
网站上线将近半年，每天都提交百度，依旧不被收录 Robots
域名：www.dyjzscl91.comwww.dyjzscl88.com网站上线将近两个月，每天都提交百度，依旧不被收录。站长后台模拟抓取成功，也有抓取量，robots文件也没有禁止抓取。找百度站长反馈，得到的回复全部都是已经在紧急处理，……
1836
浏览
1835
浏览
百度https认证成功，但是抓取诊断一直显示抓取失败是怎么回事 robots文件也一直更新不过来 Robots
百度https认证成功，但是抓取诊断一直显示抓取失败 显示服务器错误 是怎么回事啊 robots文件也一直更新不过来……
1835
浏览
百度搜索引擎的蜘蛛总是直接抓取老网站（已下线），而很少光顾新网站 Robots 老网站 文章
大家好，我司网址是www.bbtroom.com。百度搜索引擎的蜘蛛总是直接抓取老网站（已下线），而很少光顾新网站网站10月改版（因为之前网站结构不利于收录而改版新网站的），老网站已下线，源程序放在C:\inetpub\wwwroot\ap……
1832
浏览
百度收录了我禁止的页面，且这个页面内容低质，但却排名还挺好，什么原因？ Robots 百度收录 排名
<p>百度收录了我禁止的留言消息页面<a href="https://m.ylqx.qgyyzs.net/ylqx/dl2015792.htm" data-url="m.ylqx.qgyyzs……
1832
浏览
robots.txt文件放在哪里 Robots
robots.txt文件放在哪里
1830
浏览
CMS的地址和预览地址被百度收录了怎么屏蔽? CMS Robots 百度收录
后台CMS的地址和文章的预览地址被百度收录了。由于内容和主站重复，为了避免影响主站的排名和收录，想把这两个地址屏蔽掉。直接用robots吗？……
1828
浏览
sitemap.xml与sitemap.html这两个哪个更顶用？ Robots Site Sitemap
如题我做SEO这么久了有个同事也是这样问我现在许多做SEO的都会搞个网站地图一般我会直接做个xml的就算搞定了毕竟 搜索引擎对 xml 网站地图还是非常 适用的但是我也有看到 适用html的请问这两个哪个更顶用些？目前搞的我做了两个版本的s……
1827
浏览
求破解：6月28日robots误屏蔽蜘蛛，截止目前收录未恢复，搜索结果页未更新。 Robots 网站日志 收录率
<p><b>问题链接：</b>www.kuajingyan.com </p><p><b>问题描述：</b>已收录页面消失，搜索结果页未更新</p>……
1826
浏览
网站添加了robots，神马和360索引就直线下降 CMS Robots
<p></p><pre># # robots.txt for EmpireCMS # User-agent: * Disallow: /*?* Disallow: /*#*</pre>&……
1815
浏览
网站tag标签放了主关键词，是不是会影响首页的主关键词排名？ Robots Tag标签 排名
<p>网站核心词老师在第二三页不动，很不稳定，有时候到首页百度已更新又没了甚至找不到，是不是因为tag标签里放了主关键词导致的权重分散了呀，要不要删除还是robots屏蔽了呢，主关键词：cpa联盟，cpa广告联盟，广告联盟，网站……
1809
浏览
一直听别人讲SEO，自己弄个站今天第19天，前天还收录60个，今天site只有49个页 CMS Robots Site
一直在看别人写的关于SEO文章，自己也做了一个网站，用的是.com域名，阿里云服务器，dedecms,10月10日上线，域名www.faxpp.com 做喷淋塔废气处理的，上线前产品内容基本都完善了，新闻等几个栏目，各上了5个。每天记录网站……
1808
浏览
网站没有robots，没有sitemap，排名很好？ Robots Site
一个网站没有robots，没有sitemap，排名倒是挺好，pc权1，移动权2，不外链，不内容，不友链，没有任何优化操作，排名杠杠的。怎么做到的？我想不明白，我的网站不停更新，就是没有排名。……
1798
浏览
外贸通宝：GOOGLE SEO站内优化怎样才算合格？ Robots H1标签 404 排名
<p>1. 给您的网站创建网站地图</p><p>网站地图可以让你的网站快速地被google抓取和收录，如下图： ↓</p><p><a href="https://w……
1798
浏览
wordpress短链接相关问题 Robots 伪静态 排名 静态
最近我发现网站收录了很多短链接：www.***。Com/?p=123,并且在收录的过程中也会收录www.***。Com/123.html。双收录对seo不好，所有想把这个短链接用robots文件屏蔽了，但问题是短链接很多排名都很高，比伪静态……
1797
浏览
从朋友那边，收了一个2年的博客站，改版后2周了 不收录，有没有什么见解呢？ Robots Site PHP 代码
<p>各位大神，帮忙分析一下，小弟在此谢过了。<br></p><p>大概2周前，正式让解析到我服务器。替换之前搭建的demo站点，由于本地测试中 它原有博客现有程序 使用盗版 改动官方底层代码……
1795
浏览
如何利用robots文件进行网站优化操作？ Robots 优化操作
如何利用robots文件进行网站优化操作？
1792
浏览
得得cms网站的robots文件怎么设置？ CMS Robots
得得cms网站的robots文件怎么设置？
1790
浏览
现在的网站内页及文章也搜索展现的都是动态url页面，静态页面也有些被收录，现在用robots屏蔽动态url会对权重或排名有影响吗？ Robots 301重定向 关键词排名
我随便去复制网站里的文章标题去百度，出来结果都是带？的，也就是动态，然后有的文章动态和静态都收录了，但更多的是动态的一定会被收录，静态的有些不会收录。目前的很多关键词排名都不错，差不多都在首页，一些指数上千的也在第二页，如果这个时候用rob……
1789
浏览
今天百度站长robots检测一直显示请求失败yytsp.c-click.top你们有没有遇到这个问题 Robots
<p>今天百度站长robots检测一直显示请求出错，请稍后重试。前几天都挺好的yytsp.c-click.top你们有没有遇到这个问题</p><p><br></p>……
1788
浏览
robots访问没问题，但是蜘蛛日志百度蜘蛛爬取robots.txt显示404。 Robots 404
robots访问没问题，但是蜘蛛日志百度蜘蛛爬取显示404。大佬们知道这是什么情况嘛？还会一直抓取一些错误的链接，应该如何处理好呢，小白求救哇……
1787
浏览
网赚外联找不到，怎么办 Robots Site 竞价 JS
http://daohang.254.com.cn/ 首尔底部链接Powered by www.lusongsong.com模板如下：<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Tran……
1787
浏览
网站就是不收录robots没设置对？ Robots
# robots.txt generated User-agent: Baiduspider Disallow: User-agent: Sosospider Disallow: User-agent: sogou spider Di……
1787
浏览
搜狗蜘蛛（Sogou web spider）抓取robots 400问题 Robots
站长是https 站长，根据本人排场，搜狗蜘蛛抓取robots.txt的时候，使用url是：http://www.bangmangma.co:443/robots.txt因此返回错误是：400 Bad Request The plain ……
1783
浏览
SEO外链人员如何发外链？ Robots SEOer Site JS
SEO外链专员在国外是一份高薪且极为重要的职务，在中国则是属于比较底层的职位，薪资范围大概在2000-3000元/月，对学历几乎没有什么要 求，普通高中毕业的学生经过简单培训，就能上岗，甚至完全不要求有工作经验。应聘这个职位的SEOer(其……
1775
浏览
sitemap地图如何放入robots.txt中？ Robots Site
sitemap地图如何放入robots.txt中？
1774
浏览
给全站加nofollow标签有什么坏处没有？ Robots Nofollow
<p>代码：<meta name="robots" content="nofollow" /></p><p>参考网站：www.xczylt.com<……
1773
浏览
网站如何设置robots？ Robots
网站如何设置robots？怎么做
1771
浏览
1770
浏览
网站只收录首页和新闻页，是什么原因？ Robots 网站建设 根目录 文章
由于是新网站所以搜索引擎都有一个初审期，也就是搜索引擎对于一个新网站的判断期;以前百度算法没有更新的时候，一般对于新站的初审期一般都是1个月左右。而现在只要有规律的文章更新没有太多的采集文章，这个时间大概也就1-2个星期;记住!新站一定不要……
1765
浏览
想请大神看下我的网站怎样可以收录 Robots 404页面 CDN 404
<p> 11月之前出现过连接超时就不怎么收录，用熊掌号可以收录，后来服务器加了cdn连接不超时了，网站日志查出来有大量的404页面，现在已经提交了404页面，网站robots,也已经更改，现在还是不怎么收录，</p>……
1764
浏览
兄弟们请教下如何屏蔽一艘，Ahrefs，微软蜘蛛，设置了robots依旧无效。 Robots
<p>兄弟们，有知道怎么屏蔽一艘，ahrefs，微软这些蜘蛛的吗？我设置了robots文件，依旧没用，这些蜘蛛会占用我的CPU，请教下各位大神有其他办法屏蔽吗？</p><p><br><b……
1762
浏览
robots是屏蔽访问路径的吗？ Robots Nofollow
是屏蔽访问路径，和禁止指定目录抓取，不让别人看到，禁止目录？nofollow还是robots，这两个不清楚是哪一个禁止的了？……
