老铁们 ,你们的网站后台是如何禁止蜘蛛抓取的?
最近发现我的网站后台的登录页面也让蜘蛛抓取了!
一直想屏蔽掉但是没有合适的办法:写进robots.txt吧 ,稍微懂点的同行就能直接看到网站后台!
不写吧,时间长了就被蜘蛛抓取了,只要一site就出来了!
老铁们,给个建议,你们有什么好招?
最近发现我的网站后台的登录页面也让蜘蛛抓取了!
一直想屏蔽掉但是没有合适的办法:写进robots.txt吧 ,稍微懂点的同行就能直接看到网站后台!
不写吧,时间长了就被蜘蛛抓取了,只要一site就出来了!
老铁们,给个建议,你们有什么好招?