刚建的网站怎么才能让蜘蛛不抓取?
屏蔽掉
Robots屏蔽
去看看淘宝的网站。Robots协议,禁止指定或全部蜘蛛抓取。
网站上线前在Robots文件里写上禁止所有搜索引擎抓取
User-agent: *
Disallow: /
如有不会的随时追问
让更多人参与回答