robots文件怎么写最规范? 悬赏1元 已结束

我在优化行星减速机厂家http://www.newgearcn.com/[?]这个网站的时候,发现蜘蛛总是抓取一些不相关的页面,需要抓取的又没有抓取到,那么robots蜘蛛协议文件具体该要怎么写呢?哪些需要完全禁止,哪些需要引导蜘蛛抓取,动态页面要不要收录?网站死链接该怎么写蜘蛛协议?

追加问题
    18 人参与回答
王海
王海 · 2005年入行,目前在成都专注SEO+SEM,可百度一下【王海SEO】

新站不要着急,否则会适得其反,平常心,多提交,等等看看

seo本身就是一个循序渐进的过程,而且见效慢。仅仅更新好几天的原创文章还不够的,要有足够优质的外链支撑,及时把链接提交百度,告诉蜘蛛网站有新内容了,另外最好保证内容每天定时定量的发布

柯南
柯南 · 百度快排接单,SEO顾问服务,加我好友免费SEO诊断服务,QQ616346264 微信:benpaozhe1350

创建Robots.txt需要注意点:

1.必须是纯文本robots.txt文件

2.文件名所有字母必须是小写

3.文件必须放在网站跟目录下

4.文件内的冒号必须是英文半角状态

一、为什么要写robots.txt文件,它的作用是什么?

robots.txt是用来告诉搜索引擎网站上哪些内容可以被访问、哪些不能被访问。当搜索引擎访问一个网站的时候,它首先会检查网站是否存在robots.txt,如果有则会根据文件命令访问有权限的文件。

每个网站需要根据自身的要求写好robots.txt文件,robots.txt文件长什么样子?我们可以看看几个网站的robots.txt文件。

淘宝robots.txt文件

百度robots.txt文件

而一个网站为什么要写robots.txt,主要有四点:

1、保护网站安全

2、节省流量

3、禁止搜索引擎收录部分页面

4、引导蜘蛛爬网站地图

二、robots.txt的写法与步骤

1、定义搜索引擎

用User-agent:来定义搜索引擎,其中*表示所有,Baiduspider表示百度蜘蛛,Googlebot表示谷歌蜘蛛。

也就是说User-agent:*表示定义所有蜘蛛,User-agent:Baiduspider表示定义百度蜘蛛。

2、禁止与允许访问

Disallow: /表示禁止访问,Allow: /表示允许访问。

在写robots.txt时需特别注意的是,/前面有一个英文状态下的空格(必须是英文状态下的空格)。

3、禁止搜索引擎访问网站中的某几个文件夹,以a、b、c为例,写法分别如下:

Disallow: /a/

Disallow: /b/

Disallow: /c/

3、禁止搜索引擎访问文件夹中的某一类文件,以a文件夹中的JS文件为例,写法如下:

Disallow: /a/*.js

4、只允许某个搜索引擎访问,以Baiduspider为例,写法如下:

User-agent: Baiduspider

Disallow:

5、禁止访问网站中的动态页面

User-agent: *

Disallow: /*?*

6、只允许搜索引擎访问某类文件,以htm为例,写法如下:

User-agent: *

Allow: .htm$

Disallow: /

7、禁止某个搜索引擎抓取网站上的所有图片,以Baiduspider为例,写法如下:

User-agent: F

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

三、robots.txt文件存放位置

robots.txt文件存放在网站根目录下,并且文件名所有字母都必须小写。

四、特别注意事项

在写robots.txt文件时语法一定要用对,User-agent、Disallow、Allow、Sitemap这些词都必须是第一个字母大写,后面的字母小写,而且在:后面必须带一个英文字符下的空格。

网站上线之前切记写robots.txt文件禁止蜘蛛访问网站,如果不会写就先了解清楚写法之后再写,以免给网站收录带来不必要的麻烦。

robots.txt文件生效时间在几天至一个月之间,站长自身无法控制。但是,站长可以在百度统计中查看网站robots.txt文件是否生效。

其实Robots协议你可以只写禁止抓取的页面就行,如果没有特殊需要抓取的,不用写也没什么影响

杨杨🎶
杨杨🎶 · 蜂蜜知识/jingtanfuke/

网上有直接生成的工具

站长工具后台去看一下就知道了,哪里有规范和方法的。

小耳朵
小耳朵 · 第一楼市:专业做SEO优化,希望与同行交流分享

Robots协议一般是要禁止那个路径才用把,不然不需要做的,这个一般和收录也没什么关系

万物皆有灵
万物皆有灵 · 两年seo工作经验,希望与各位多交流学习。

看来都是来打酱油的,没有一个听懂说正题,

新起点影视
新起点影视 · 深圳宣传片拍摄、后期制作,宣传片制作

网上查 大把

路人
路人 · seo小学生

如果不会写,百度一下自动生成Robots,然后随便点一个进去,输入你的域名,然后生成一个,自己传到网站上

紫逸风
紫逸风 · 混迹SEO界15年确无所建树的人!

你自己的站不知道该让蜘蛛抓哪个页面吗?你自己如果都不知道哪个页面该抓,哪个页面不该抓那还做什么seo? 想让蜘蛛抓哪个页面就引导它抓哪个

老房装修
老房装修 · 老房装修公司

Robots协议只能规范蜘蛛访问路径,解决不了你网站的收录,

So:Lo
So:Lo · 想看影视电影的可以访问我的网站

网上有直接生成的工具 

幽谷客
幽谷客 · 主业seo,业余python编程,微信公众号「Python加SEO做增长」,运营自然搜索流量日uv4万网站

Robots 文件,解决不了你的收录问题。

CocoDai
CocoD · 南京欧姆SEO

下载一个爱站工具包,里面会有你写的功能,把你不想让蜘蛛抓取的目录静止就可以了。

加载更多