我们一般都是通过Robots屏蔽这个方法，Robots 协议（也称为爬虫协议、机器人协议等）用来告诉搜索引擎、爬虫哪些页面可以抓取，哪些页面不能抓取。
直接无用的屏蔽蜘蛛，或设置允许的蜘蛛。
让更多人参与回答
