在使用谷歌页面分析工具的时候显示我的paper写作网站有robots错误,我去查看文件才看到没有这个文件。想问问大家这个robots文件应该写哪些内容呢?
是的,推推蛙说的没有错
1、首先可以先了解下Robots文件的作用; 2、如果自己有想要屏蔽禁止蜘蛛或者机器人抓取的文件,可进行屏蔽。
让更多人参与回答