搜外网>搜外问答>问答页面

网站的robot文件到底是怎样去提交优化更新的? 悬赏1元 已结束

刚接触SEO不久,真的太新手了,很多都不懂,搜了很多资料都不怎么看得懂

追加问题
    11 人参与回答
最佳回答
河南振豫律师事务所
河南振豫律 · 7年前端 seo、振豫律师事务所

 Robots.txt是一个协议,而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
  当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。如果希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

xiaosage
xiaos · 正图网-专注精品设计素材下载网站,覆盖平面设计、ppt模板、word文档、文化墙、视频、样机等。

Robots.txt文件就是用来告诉蜘蛛哪里可以收录,哪些不能收录,自己到网上查一下用法,再根据自己网站的情况弄

al
al · 网站专业找茬

就见一个TXT文本上传到根目录

robots.txt

User-agent: *(这个是允许抓取)
Disallow: (这个是填不允许蜘蛛抓取的目录)
一半留着默认就行

网上有的格式的,找一个吧

第一行是网站地图
第二行是禁止采集程序的文件,比如PHP,*后缀的软件名

£小黎明
£小黎明 · SEO小白 →(大哥大嫂过年好——-▄█▀█●—-—帮小弟点一下回形针,感激不尽——-—▄█▀█●———☛☛☛☛☛

Robots是为了屏蔽页面或者文件夹不被搜索蜘蛛抓取爬行的,可以避免你的站点无用的抓取,更好抓取有用的内容

12365信息网
12365 · 12365信息网-生活帮助知识库

网上有格式 找一个用就行了

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、Robots是为了屏蔽页面或者文件夹不被搜索蜘蛛抓取爬行; 

2、一般模板型网站都是有默认的robots文件; 

3、robots看你的需求,如果并未有需封禁的,可不专门设置;

4、网上也有在线生成robots文件的在线网址;

5、回形针里面的站点可考虑操作下301集权,避免双收录影响收录和排名稳定性。

转行吧,别入坑了~

qwoeyhoii333
qwoey · 奈斯导航为广大网民精心筛选、整理国内外各类优秀的网站大全,各位站长可以免费提交收录。==》

如果没有必要,也就是需要屏蔽爬行的目录,比如admin或者其他敏感目录的话,可以不写Robots文件。

无双
无双 · 两年seo优化经验,正在学习中。

网上有格式 找一个用就行了

SEO培训招生中
188