<p>查询出这样的代码就是robots限制了吗？那正常的是什么样的？</p><p></p>
这个限制抓取的上面那些文件或者文件夹 上述设置不影响正常抓取
1、你的这个里面无屏蔽整站，不影响其他正常页面抓取；
2、抓取诊断，你的页面，看看是否正常抓取。
看样子你是新手，这些是屏蔽蜘蛛不要访问没有内容的地方，这种屏蔽是必要的，这个Robots文件，起到引导蜘蛛访问的功能。建议在里面加上网站地图最好了。
让更多人参与回答
