搜外网>搜外问答>问答页面

老铁们，你们的网站后台是如何禁止蜘蛛抓取的？

微信

最近发现我的网站后台的登录页面也让蜘蛛抓取了！

一直想屏蔽掉但是没有合适的办法：写进robots.txt吧，稍微懂点的同行就能直接看到网站后台！

不写吧，时间长了就被蜘蛛抓取了，只要一site就出来了！

老铁们，给个建议，你们有什么好招？

Robots Site

本帖由用户发布，如有侵权联系删除 2019-12-27 发布2,099 次浏览

交换友情链接，就用搜外友链，方便！

6 人参与回答

用户118646 · 泰海科技12年服务经验，专注于服务器租用

干啥要禁止呢

用户155949

啥都没禁止，想怎么爬就怎么爬

用户160702 · 芸果轩

写进ROBOT.TXT

怕别人知道后台。可以用简写。。

用户164358 · 吃喝

啥都没禁止，想怎么爬就怎么爬

用户149893

robot文件设置蜘蛛禁止访问的目录就行了

用户113755 · 曦曦SEO个人博客，交换权重相当同行业友链+QQ2091563434记得备注→→→→→→→→→→→→→→→→→→→→

老铁们 ，你们的网站后台是如何禁止蜘蛛抓取的？