4 人参与回答
咨询一下技术人员
Robots.txt是一个协议，全称是“网络爬虫排除标准”，也叫蜘蛛协议/爬虫协议/机器人协议。用来告诉蜘蛛
程序在服务器上什么文件是允许被查看的，什么文件是禁止被查看的。
例如：我的顺达荣的robots.txt文件：www.。kawden。ccm/robots.txt
User-agent:* 告诉： 所有蜘蛛*
Disallow: / 禁止抓取所有页面
allow: /JS/ 允许抓取JS
主要是官方的一些文件夹，你可以参考一下这个 然后考虑禁止哪些
../a 默认生成文件存放目录
../data 系统缓存或其他可写入数据存放目录
../dede 默认后台登录管理（可任意改名）
../images 系统默认的部分系统需要的图片目录
../include 程序核心系统文件目录
../install 安装文件目录
../member 会员系统目录
../plus 插件及辅助功能目录
../special 专题目录
../templets 模版目录
../uploads 默认上传文件目录
../index。PHP 网站默认动态首页文件
../robots.txt 限定搜索引擎命令
../tags。php Tag标签文件
