请问各位大神,Robots文件在哪里如何设置?
是,Robots是蜘蛛协议,可以禁止蜘蛛抓取某些页面
恩,就是一个大门~
是的,蜘蛛第一读取的是你网站的Robots
Robots文件在服务器的根目录下,你要写好蜘蛛抓取规则就好了
蜘蛛会首先看你的蜘蛛协议,蜘蛛协议可以写好之后放进服务器根目录下
让更多人参与回答