如果要单独屏蔽一个网页被抓取需要怎么做？
Robots.txt里面写一条就行了，不过更新后得两天才能看到效果的
Robots.txt里面添加一个禁止
meta，Robots="Nofollow,noindex" robots.txt
让更多人参与回答
