网站www.zyxgjt。Com，是作为其他功能支撑的网站，所以不想让蜘蛛抓取，但是在服务器里写了robots，会跳到其他的内容上，和写的robots文件内容不同，返回服务器里又没有相对的文件。想问一下除了robots还有什么办法能让蜘蛛不抓取？
直接屏蔽所以蜘蛛呢？
.htaccess 文件， meta 的 Robots 标签， 搜索引擎后台设置等等
屏蔽所有蜘蛛标签，除了Robots外，还有服务器防火墙可以设置
屏蔽所有蜘蛛。。
防火墙好像可以设置吧
让更多人参与回答
