各位大神,robots该怎么写,蜘蛛抓了很多PHP,HTML页面

有分享一下借鉴一下吗?

追加问题
    6 人参与回答
橄榄绿叶
橄榄绿叶 · 行星减速机,交换权重相当同行业友链+QQ893910412记得备注→→→→→→→→→→→→→→→→→→→→→→→→→

不会的参考下别人的

截图发出来看看

超梦吧 · APP定制开发,人工智能,区块链。15019235041(同微信)

怎么写?就写不必要给蜘蛛抓的文件夹和文件,比如图片文件夹,图片的格式,后台管理的文件夹等等

霹雳闪电 · 消防车:www.xiaofangc.com

我都没写过呢

搜外用户
搜外用户 · 来搜外学习的一名普通用户

比如图片文件夹,我都没写过呢