我是查看日志发现的，假蜘蛛，爬取网站漏洞的根本不收录，一般蜘蛛访问的都是404不存在的页面，如何不让这蜘蛛爬取了，这种情况怎么处理？
可以设置一下 就像楼上说的
设置 Robots 可以屏蔽掉，你不想被抓取的页面
让更多人参与回答
