到底哪些是不想被抓取的页面，都有哪些呢？
robots屏蔽问题我一直不解，可能是因为我不会设置robots.txt文件的原因。
其他人都说可以用robots去屏蔽不想被搜索引擎抓取的页面，但我很迷糊，到底哪些是不想被抓取的页面，都有哪些呢？
求告知，我也希望自己能够提升这块的操作能力。
相关问题
- 整站301永久转向后，为什么这两天关键词排名和搜索流量出现大幅下滑？(0 个回答)
- 网站有收录量却一直没有索引量是怎么回事？(0 个回答)
- 复制内容如何让搜索引擎快速收录呢？(0 个回答)
- 新站网站内页长尾词排名时间(0 个回答)
- 使用精灵会被搜索引擎惩罚吗？(2 个回答)
- 搜狗网站收录量很多但是却没有索引量是怎么回事？(2 个回答)
- 网站索引量两个月来逐渐下降1000多怎么回事？(0 个回答)
- 网站索引量一直下降都没有了怎么办？(2 个回答)
