到底哪些是不想被抓取的页面，都有哪些呢？
robots屏蔽问题我一直不解，可能是因为我不会设置robots.txt文件的原因。
其他人都说可以用robots去屏蔽不想被搜索引擎抓取的页面，但我很迷糊，到底哪些是不想被抓取的页面，都有哪些呢？
求告知，我也希望自己能够提升这块的操作能力。
4 人参与回答
robots屏蔽问题我一直不解，可能是因为我不会设置robots.txt文件的原因。
其他人都说可以用robots去屏蔽不想被搜索引擎抓取的页面，但我很迷糊，到底哪些是不想被抓取的页面，都有哪些呢？
求告知，我也希望自己能够提升这块的操作能力。
