就是在robots中文件中需要加上Sitemap: https://www.awind.com.cn/sitemap.xml吗？
这个不是禁止的意思，Robots中
Disallow: ——表示禁止抓取
Allow: ——表示允许抓取
Allow: /$ ——表示只允许抓取主页
Disallow: / ——表示禁止抓取网站所有文件
Sitemap: ——表示站点地图的意思（是用来告诉蜘蛛，这是该站的网站地图，可以从这个地址开始爬）
不需要禁止，添加这个就是为了让蜘蛛能够更好的抓取网站内容的
不需要禁止，这个利于蜘蛛爬取的
让更多人参与回答
