上面说通过Robots.tet告诉那些能抓取哪些不能抓取，不能抓取的会给予权重吗？大神教教要怎么弄
应该是
去看看人家网站是怎么写的
里面这样填一下
User-agent: *
Disallow: /
Disallow: /abc/
Disallow: /abc/123.png
第一个代表以下针对所有搜索引擎
第二个代表所有内容禁止抓取，一般用于新站内容没填充号的时候
第三个该目录不允许抓取一般网站后台或者图片文件夹和会员系统等没有排名收录意义的目录
第四个具体那个页面不用蜘蛛抓取
建议下载一个尖叫青蛙直接搜破解版的，模拟以下蜘蛛抓取，然后从结果分析那些页面没有意义填进去，有利于权重集中
大哥，应该是Robots.txt吧，这文件是禁止什么类型的蜘蛛爬取什么页面的，比如禁止百度蜘蛛爬取skin这个目录下面的所有文件
让更多人参与回答
