看需求咯，网站如果对收录不做要求的话不加Robots文件也行
通常情况下，网站通过Robots文件屏蔽的页面类型包括搜索页面、缓存页面、feed页面、隐私页面和图片目录、css目录等。通过robots文件，我们就可以告诉搜索引擎我们的网站哪些页面是重要页面，哪些页面是无需爬虫抓取的，从而提高搜索引擎对网站的抓取效率。 另外，robots文件还有屏蔽蜘蛛的功能，站长可以通过robots文件告诉任何一种搜索引擎是否可以来抓取网站的内容。
让更多人参与回答
