Robots

Robots

中文称:爬虫协议。简单说,robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容,一方面可以保护用户隐私数据,另一方面也可以通过此协议控制爬虫抓取范围,从事减少网站带宽。
相关话题
夫唯
话题优秀回答者
1325 问题
1889 浏览

如何让网站屏蔽废蜘蛛 Robots Nofollow 根目录 代码

机呼科技:http://www.yqbing.com/一般情况下,网站建立并运营之后总是希望被搜索引擎收录的数量越多越好。但这只是通常情况下,大部分人所希望的。有些时候,我们还是会希望搜索引擎蜘蛛不要访问网站的某些文件夹,当然也有不希望搜索……

1884 浏览

为什么栏目页没法被收录? Robots

为什么首页跟内容页都被收录了 ,但是栏目页没被收录 索引   百度搜索不到      robots也没啥问题          ……

1879 浏览

网站突然被降权,这种情况应该怎么办? 网站收录 Robots 移动端 索引

<p>6月12号开始发现网站百度来路在下降,但是网站我未进行过任何修改,只是每天正常更新。不知道什么原因。</p><p>中途发现网站服务器占用高,我就优化了下服务器。网站收录内收录了很多用户登录界面,我就……

1876 浏览

robots文件上传 Robots 根目录

我的一个虚拟主机上面,有3个网站。robots需要放在根目录下面,但是又3个网站,请问名字怎么设置。不设置的话,就重复了,也放不了,谢谢!……

1871 浏览

如果用robots禁止百度抓某个目录下的页面,那之前该目录下已收录的页面搜索结果会被删除吗? Robots 搜索结果

如果用robots禁止百度抓某个目录下的页面,那之前该目录下已收录的页面搜索结果会被删除吗?比如搜索引擎之前已经抓取了:http://www.epanel.cn/preview/下的页面,我把/preview/禁掉,之前收录的页面还会被搜索……

1859 浏览

如何把已经收录的收录了的页面删除 Robots 排名

我的站robots文件已经禁掉了 但是还是有排名展现  现在我不想要排名展现 但是我又不能停域名只是不要排名,网站还得可以正常访问该如何操作啊大神们?……

1852 浏览

自己亲身经历做seo一年了,关键词只有一个,心碎 Robots Site 文章

网站刚满一年,收录了八十个页面,都是以前收录的,中间停更一段时间,现在再更新就不收录了。百度抓取也有每天10次左右网站site地图也提交了robots也有 检测也正常花费了巨量时间,文章都是自己手打的,基本上大部分算原创了。现在急切需要知道……

1823 浏览

如果网站做了有TAG标签,但是又想通过robots禁止访问动态页面,该怎么办? Robots Tag标签 404

问题:是这样的1、网站做了有TAG标签2、但是想在robots里面设置禁止访问动态页面该怎么设置,才能既能禁止访问动态页面,同时又能不影响TAG标签带来的SEO优化。大家是怎么写robots的呢?那些做tag标签的网站是怎么写404的呢?……

1816 浏览

robots禁止抓取某个链接如何写? Robots

禁止抓取网址URL,网站robots禁止抓取某个链接怎么写?具体如何操作,哪位大神指点一下,我想禁止不让抓取页面的URL,禁止后蜘蛛也不抓取了,也不收录了?……

1789 浏览

网站改版时候设置了robots屏蔽搜索引擎抓取,现在取消了还不抓取,怎么办? Robots 网站改版

之前网站在改版的时候设置了robots屏蔽搜索引擎抓取,中间可能持续了有一个月左右时间,现在网站已经改版完成上线,解除了robots屏蔽;但在百度搜索网址,仍然显示“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统……

1786 浏览

网站辛苦策划了3个多月,竟然被人说这样优化肯定没排名?求大神解答! Robots Nofollow 网站建设 canonical Site Sitemap

辛苦策划了3个多月,网站建设为了符合SEO体验用的是dede二次开发,设置了专门的robots,sitemap,该nofollow的都禁止抓取,也canonical集权了,栏目结构就3页,而且内容页都优化了,为什么到群里问大神,大神却说这样……

1761 浏览

请问有没有大神知道如何用Robots文件禁止百度蜘蛛抓取异常链接? Robots 抓取异常 404

<p>是这样的一个情况,我每次提交404死链的时候,我都会发现有一个异常链接,而这个链接是跟在我的域名后面的,我不知道为什么递交了好几次404死链,删除了,要不了了解就又有了,我查询过那个域名是一个养鱼的网站,于是我被百度反馈,……