Robots

Robots

中文称:爬虫协议。简单说,robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容,一方面可以保护用户隐私数据,另一方面也可以通过此协议控制爬虫抓取范围,从事减少网站带宽。
相关话题
夫唯
话题优秀回答者
1312 问题
889 浏览

robots更新问题,从禁止所有蜘蛛抓取,到允许蜘蛛抓取已经调整过了。快照未更新 Robots 百度收录 索引

新站长时间使用robots禁止所有蜘蛛抓取,但还是被百度收录了,快照显示,网站标题下方,提示由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述 ,,robots.txt已经更换为允许蜘蛛抓取,……

462 浏览

常见元标签有哪些 应该怎么设置标签呢? Robots

元标签在做网站的实操中真正用到的没有几个,但自从SEO行业兴起之后,各类被冷落的标签又重新运用起来了,如某些时候 robots.txt文件不能解决一些特殊的环境,而是采用页面内的 robots标签来引导蜘蛛的走向。https://www.s……

630 浏览

请教搜外小伙伴两个站内优化问题? 长尾关键词 Robots 关键词布局 站内优化

1.列表页或栏目页中“上一页”“下一页”用robots.txt都需要屏蔽吗?这样不就整个栏目页面都需要进行屏蔽了。2.热搜关键词和长位关键词是对立的。热搜关键词一般布局在首页,栏目页,内容页,长尾关键词布局在栏目页,内容页,这样栏目页和内容……

656 浏览

网站首页、分类等列表页是否有必要用robots.txt禁止收录翻页? Robots

欧美的个人博客网站首页、分类表、标签页等都有很多分页,标题、关键词、描述等内容基本上相同,最多加上“第几页”之类的。有些站长说为了集权要屏蔽掉其他分页,只保留第一页,可通过robots.txt实现;有些站长说不用理会。所以我们是否有必要禁止……

476 浏览

购买的老域名建站,有之前的url抓取,要怎么处理? Robots 404页面 404 索引

买了一个老域名建站,这个域名以前发过很多外链,但是发的基本都是栏目页和内容页的外链,现在通过网站日志发现蜘蛛通过这些以前发的外链爬到网站,但是这些栏目页和内容页都不存在了,所以导致蜘蛛每次爬过来都是404页面。这种情况要不要向搜索引擎提交下……

609 浏览

请问下大神们,百度为什么就爬首页和以前老早删除了的页面? Robots 404页面 PHP 404

<p>请问下大神们,百度为什么就爬首页和以前老早删除了的页面?站点两年了,以前没空弄,中间丢失了很多页面,数据没了,网站一直没关过,只是服务器忘记续费了,几天才发现没备份,全重做了,目录路劲没变,我重新更新一个多月了,谷歌,神马……

629 浏览

中英文双模板的网站如何优化处理,比较合适? Robots 二级域名

网站有中英文2个版本,应该如何处理才不会影响到中文版本的优化呢,英文是目录(www.abc.com/en)还是开个二级域名(en.abc.com)好呢?中英文两套程序是共存在一个虚机中,英文版的反正不考虑优化,是不是可以直接robots.t……

535 浏览

屏蔽蜘蛛后百度站长平台仍然能正常抓取????? Robots 站长平台

前段时间进行了网站迁移,可是我忽视了一个事情我之前是有两个网站解析到一个域名上面,因为怕一些事情就吧这个网站下面的Robots给屏蔽了,这次网站迁移没有配置这个 ,我就一直好奇,为啥我的蜘蛛一直是0。也查了很多东西都不知道,然后百度站长平台……

629 浏览

关于网站日志分析_百度蜘蛛只抓取robots.txt Robots SEOer 排名

<p>作为SEOer近12年的工作人员,今天检测网站日志,发现百度蜘蛛200状态只抓取robots.txt文件,其他的文章,产品页面都不抓取;</p><p>因为着急让产品页面抓紧收录,获取产品词的排名:&……

515 浏览

麻烦大神们看下我robots这条是什么意思,可以把它删了不 Robots 404

<p>麻烦大神们看下我robots这条是什么意思,可以把它删了不,还有就是我已经禁止抓取动态页面了,为什么还是会出现抓取动态页面的情况,还有看日志出现很多不知道的404动态网址链接,这个需要处理不,请求大神回复</p>……

1422 浏览

新站提问:百度蜘蛛疯狂抓取wp-json这个目录,请问对网站有什么影响吗? Robots JS 宝塔

萌新做了个新站,在宝塔后台开通付费统计插件,发现百度蜘蛛疯狂抓取wp-json这个目录,请问这个目录文件有什么作用?百度蜘蛛抓取这个目录对网站有什么影响吗?有没有方法禁止百度蜘蛛抓取?目前我通过添加 移除头部 wp-json 代码,robo……