搜外网>搜外问答>问答页面

网站因为是支持后台的网站,怎么让蜘蛛不要抓取?

网站www.zyxgjt。Com,是作为其他功能支撑的网站,所以不想让蜘蛛抓取,但是在服务器里写了robots,会跳到其他的内容上,和写的robots文件内容不同,返回服务器里又没有相对的文件。想问一下除了robots还有什么办法能让蜘蛛不抓取?

追加问题
    7 人参与回答

直接屏蔽所以蜘蛛呢?

宝贝
宝贝 · 来打发时间。

.htaccess 文件,
meta 的 Robots 标签,
索引擎后台设置等等

天行健咨询
天行健咨询 · 精益生产管理与六西格玛管理咨询,培训机构

屏蔽所有蜘蛛标签,除了Robots外,还有服务器防火墙可以设置

屏蔽所有蜘蛛。。

屏蔽所有蜘蛛标签,除了Robots外,还有服务器防火墙可以设置

防火墙好像可以设置吧

agA1n
agA1n · seo

直接屏蔽所以蜘蛛呢?

SEO培训招生中
168