搜外网>搜外问答>问答页面

老铁们 ,你们的网站后台是如何禁止蜘蛛抓取的?

最近发现我的网站后台的登录页面也让蜘蛛抓取了!

一直想屏蔽掉但是没有合适的办法:写进robots.txt吧 ,稍微懂点的同行就能直接看到网站后台!

      不写吧,时间长了就被蜘蛛抓取了,只要一site就出来了!

老铁们,给个建议,你们有什么好招?

追加问题
    6 人参与回答
梦梦
梦梦 · 泰海科技12年服务经验,专注于服务器租用

干啥要禁止呢

啥都没禁止,想怎么爬就怎么爬

石头
石头 · 芸果轩

写进ROBOT.TXT

怕别人知道后台。可以用简写。。
小小心愿
小小心愿 · 吃喝

啥都没禁止,想怎么爬就怎么爬

robot文件设置蜘蛛禁止访问的目录就行了

Eric
Eric · 曦曦SEO个人博客,交换权重相当同行业友链+QQ2091563434记得备注→→→→→→→→→→→→→→→→→→→→

把后台名字改了  写进ROBOT.TXT  再说了  不改写进去也没事    如果确实有担忧  每周备份一次