robots屏蔽问题我一直不解，可能是因为我不会设置robots.txt文件的原因。
其他人都说可以用robots去屏蔽不想被搜索引擎抓取的页面，但我很迷糊，到底哪些是不想被抓取的页面，都有哪些呢？
求告知，我也希望自己能够提升这块的操作能力。
就式不你认为可以没必要搜录的，像联系我们，没有内容只有图片的百度抓取式会认为式空白页面。
百度搜一下，了解一下
这个 Disallow: 标签就是不让蜘蛛看的，你可以参考一下搜外的
让更多人参与回答
