Robots

Robots

中文称:爬虫协议。简单说,robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容,一方面可以保护用户隐私数据,另一方面也可以通过此协议控制爬虫抓取范围,从事减少网站带宽。
相关话题
夫唯
话题优秀回答者
1613 问题
389 浏览

老站蜘蛛从来不爬去内页,求大神帮看robots是否设置有误? 推荐热议 CMS Robots 备案

易优的CMS,老域名建的站且已经一年半了,首页蜘蛛每天来很多次,百度收录了三四百条(首页及栏目页面),移动权重2,但蜘蛛日志显示百度蜘蛛从不爬取内页,首页来的多,会爬栏目页面,但内页不爬去也不收录。未备案。以下为robots:……

488 浏览

提一个百度收录很理想而搜狗收录和索引均少的问题 诚心等解答 推荐热议 Robots 搜狗 文章

提一个百度收录很理想而搜狗收录和索引均少的问题。我们是企业官网,属于建材行业的陶瓷砖企业,网站名称是“玛布里瓷砖”,建设到现在超6年,一直以来所有搜索引擎的收录、索引数据都挺好看的,但去年初开始,独独是搜狗之一块,收录不稳定了,索引也快掉光……

88 浏览

使用光年日志分析系统理解与疑问 推荐热议 Robots Site 代码 索引

1,在概要分析中;访问次数指的是分析日志文件数据内时间段 引擎蜘蛛访问网站的次数吗?总抓取量则是该时间段引擎蜘蛛爬取网站页面链接的数量?那么,我在robots.txt设置了sitemap.txt 文件代码,sitemap.txt 文件里提交……

180 浏览

网站建二级域名与主域名指向同一个程序,主域名会被分掉权重吗 Robots 二级域名 竞价

如题,为了区分竞价来的线索和自然流量线索,我想将网站建一个二级域名,新建的二级域名与主域名都指向同一个网站,然后在robots中设置disallow禁止蜘蛛抓取这个二级域名,这个新建出来的二级域名会影响主域名的权重吗?……

69 浏览

网站参数空白页面总是被蜘蛛抓取怎么办 Robots PHP

网站参数空白页面总是被蜘蛛抓取,也写了robots了,但还是有蜘蛛挺多抓取这些空白参数页面(返回码200)好像当成了首页(也可能是假蜘蛛),怎么解决?/index.php?m=Home&c=Api&a=getstore……

111 浏览

ROBOTS校验 Robots

ROBOTS输入网址校验结果显示“已允许”,是不是说明robots没有屏蔽成功呢?

164 浏览

请教下ROBOTS的问题 Robots

刚刚更新了一下robots   加了  Disallow: /product/e23那这个生效后,这四条链接是不是就都不抓取了呢?……

169 浏览

如何屏蔽已经收录的页面 Robots

想在robots里面屏蔽 plug/comment/?id=59  plug/comment/?id=80  plug/comment/?id=81  这种类似的页面怎么写规则……

95 浏览

关于robots的骚操作带来一个血的教训 Robots 百度知道

前几日发现很多国外的垃圾蜘蛛,还有bing msn等等这些蜘蛛来我网站特别的多,所以就想着把垃圾蜘蛛给屏蔽掉,User-agent:AhrefsbotDisallow: /但他娘的一时不慎,把这行复制在了robots文件的最后面,放上去后忘……

244 浏览

seo百度快照 Robots 百度快照

家人们我想问问为什么我这网站上线一年还没有百度快照呀?是那个robots屏蔽了爬虫抓取信息吗?是只要改成后面那个就可以了吗?www.fugaojiaju.com……

85 浏览

网站后台文件需要限制蜘蛛抓取吗 Robots

每天查看日志发现抓取了很多后台文件,有的文件还是死链  需要限制吗?有的文件也添加到robots文件里的,但还是能抓取是什么缘故呢?……