正常的网站robots.txt你们一般禁止蜘蛛抓取哪些内容，js、css还有补充的吗
不要让抓取的都可以封禁
基本就封禁JS和css就可以，还有不要被收录的页面文件
楼上说的对，没必要
没必要都封禁
让更多人参与回答
