robots.txt 写法 求助 悬赏3元 已结束
<p>User-agent: *
</p><p>Disallow:
</p><p>Disallow: /extend
</p><p>Disallow: /install_*
</p><p>Disallow: /template
</p><p>Disallow: /core
</p><p>Disallow: /vendor
</p><p>Disallow: /application</p><p><br></p><p>这个有没有毛病.....</p><p><br></p><p>这里是不是禁止了所有.................求指教</p>
<p><b>以前整理了个模板：不知道有没用，自己参考呗！</b></p><p> Robots.txt的相关写法</p><p> User-agent: 这里的代表的所有的搜索引擎种类，是一个通配符</p><p> Disallow: / 这里定义是禁止爬寻目录下面的全部文件</p><p> Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录</p><p> Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录</p><p> Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录</p><p> Disallow: /cgi-bin/.htm 禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。</p><p> Disallow: /? 禁止访问网站中所有包含问号 (?) 的网址</p><p> Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片</p><p> Disallow:/ab/ 禁止爬取ab文件夹下面的文件。</p><p> Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录</p><p> Allow: /tmp 这里定义是允许爬寻tmp的整个目录</p><p> Allow: .htm$ 仅允许访问以”.htm”为后缀的URL。</p><p> Allow: .gif$ 允许抓取网页和gif格式图片</p><p> Sitemap: 网站地图 告诉爬虫这个页面是网站地图</p><p><br></p><p><b>广州买房留意网 的robots.txt 就是这样的</b></p><pre>User-Agent: *
Disallow:/?*
Disallow:/wp-includes/
Disallow:/wp-admin/
Disallow:/.PHP
Disallow:/Disallow:/htdocs/wp-content/themes/wp-training/css/
Disallow:/htdocs/wp-content/themes/wp-training/Disallow:/htdocs/wp-content/themes/wp-training/JS/
Disallow:/htdocs/wp-content/themes/wp-training/css
Disallow:/htdocs/wp-content/themes/wp-training/languages
Disallow:/htdocs/wp-content/themes/wp-training/plugins
Disallow:/htdocs/wp-content/themes/wp-training/upgrade
Disallow:/
Sitemap files
Sitemap: Sitemap: Sitemap: >
就是和平常说话一样，你允许抓取哪些文件或目录就直接把路径放上去，不允许抓取哪些就放哪些路径。然后*表示通配符。
你这个要按照蜘蛛协议规则写才可以啊
Robots格式如下:
- Disallow: / →即禁止抓取的地址。
- Allow: / →即允许抓取的地址。
- “*”和”$” 分别代表通配符和终止符，百度蜘蛛一般用这两个通配符来模糊匹配url。”*”是匹配0或多个以上的的任意字符，”$”是匹配行的结束符。
写法规则，“:”的使用要是英文下的符号，写法后面留一空格，如下举例。
屏蔽整个网站，使用正斜线：
- User-agent: *
- Disallow: /
要屏蔽某一目录以及其中的所有内容，在目录名后添加正斜线：
- User-agent: *
- Disallow: /目录名/
要屏蔽某个具体的网页，就指出这个网页：
- User-agent: *
- Disallow: /网页.htm
要屏蔽网站上的动态链接：
- User-agent: *
- Disallow: /*?*
要屏蔽网站上的css、JS文件：
- User-agent: *
- Disallow: /*.js$
- Disallow: /*.css$
要屏蔽网站上的图片：
- User-agent: *
- Disallow: *.jpg$
- Disallow: *.png$
- Disallow: *.gif$
要屏蔽网站上的文件包：
- User-agent: *
- Disallow: /*.zip
你这样就可以了
我这边一般是这样写，针对不同的站细节地方再修改，我也不是很懂这个，所以每次添加了Robots文件之后我会去资源管理平台查看一下看有没有提示错误，并把网站的一些链接放进去试一下看有没有被禁止抓取
# Robots.txt file from http://域名
# All robots will spider the domain
User-agent: Baiduspider
User-agent: *
Disallow: /admin/ （禁止爬去后台）
Disallow: /upload/ （禁止爬去upload文件夹）
Disallow: /en/ （禁止爬去en文件夹）
Disallow: /cn/ （禁止爬去cn文件夹）
Disallow: /*?* （禁止爬去动态链接，针对全站静态化的站）
Disallow: /*.PHP (禁止爬去.php结尾的动态链接，针对全站静态化的站）
Disallow: /*.css （禁止爬去样式文件）
Disallow: /cn/ （禁止爬去首页动态链接）
Allow: / 除了禁止的，其他都可以爬去
Sitemap:http://域名/
（有无Sitemap 有就加）
了解的片面，现在学到了，厉害厉害
删了
