7 人参与回答
大地旅人
大地旅人 · 一个热爱美食&且喜欢旅游的网站行业工作者&当然佛系#
吾爱破解吧权重蜘蛛-池出租 等 2 人赞同该回答

右击桌面新建Robots.txt,然后User-agent: Googlebot

User-agent: MSNBot
User-agent: Baiduspider-image
User-agent: YoudaoBot
User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou spider2
User-agent: Sogou blog
User-agent: Sogou News Spider
User-agent: Sogou Orion spider
User-agent: JikeSpider
User-agent: Sosospider
Allow: /

User-agent: *
Disallow: /

就OK

吾爱破解吧
吾爱破解吧 · 网站从业人员,一个悟道的秃头技术员
权重蜘蛛-池出租 等 1 人赞同该回答

确实楼上说的都挺对的,其实默认的Robots.txt就行

奋力向前
奋力向前 · 第三方软件测试报告
权重蜘蛛-池出租 等 1 人赞同该回答

不用设置,或者参考我的网站

爽朗的Hassoun
爽朗的Ha · 心心念念
权重蜘蛛-池出租 等 1 人赞同该回答

看看同行网站如何做的

权重蜘蛛-池出租 等 1 人赞同该回答

看看同行网站如何做的

瑞通钢管
瑞通钢管 · 专注企业seo
权重蜘蛛-池出租 等 1 人赞同该回答

参考一下吧