禁止抓取网址URL，网站robots禁止抓取某个链接怎么写？具体如何操作，哪位大神指点一下，我想禁止不让抓取页面的URL，禁止后蜘蛛也不抓取了，也不收录了？
Disallow: /
然后后面是你不想搜索引擎抓取的目录
让更多人参与回答
