在使用谷歌页面分析工具的时候显示我的paper写作网站有robots错误，我去查看文件才看到没有这个文件。想问问大家这个robots文件应该写哪些内容呢？
是的，推推蛙说的没有错
1、首先可以先了解下Robots文件的作用； 2、如果自己有想要屏蔽禁止蜘蛛或者机器人抓取的文件，可进行屏蔽。
让更多人参与回答
