搜外网>搜外问答>问答页面

我这样设置robots文本应该没有问题吧，蜘蛛日志上都显示抓取300多次了

微信

Robots 举报 本帖由用户发布，如有侵权联系删除 2021-06-10 发布646 次浏览

交换友情链接，就用搜外友链，方便！

3 人参与回答

祝福语 · 一个自学网站优化建站的新手站长。

很好，没有问题

￡小黎明 · SEO小白 →（大哥大嫂过年好——-▄█▀█●—-—帮小弟点一下回形针，感激不尽——-—▄█▀█●———☛☛☛☛☛

没有问题，正常的

人生＝π · 建站小程序空间域名服务器百度爱采购

Disallow:该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/、/、/help/，而"Disallow:/help/"则允许robot访问/、/，不能访问/help/。"Disallow:"说明允许robot访问该网站的所有url，在"/Robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。

我这样设置robots文本应该没有问题吧，蜘蛛日志上都显示抓取300多次了

收录宝

提供服务

常用链接

产品实验室