3 人参与回答
用户197787 · 互联网爱好者、seo业余选手、新媒体从业者

Robots.txt协议,禁止搜索引擎蜘蛛爬取设置好的路径。

这不就是网站的Robots

Robots禁止爬这些目录