网站不被搜索引擎收录，怎样检查robots.txt文件，如何设置robots.txt权限？大佬求解
去爱站网自动生成工具那里
很简单的 知道格式就好了
可以直接去站长工具里面有个Robots.txt编写。我整理过一批高质量的外链地址，可以去首页置顶文章下载，地址是：
百度站长工具里检测一下
你可以利用站长工具中Robots文件生产工具来写 根据你的需求来选择就会自动生成了 很方便的
用站长工具Robots工具就行，不会写的话就默认所有搜索引擎爬取就好了
让更多人参与回答
